五大主流AI聊天機器人準確性測試曝光 頻現自信式錯誤、數據過時、答覆前後矛盾

全球五大主流人工智能聊天機器人ChatGPT、Claude、Gemini、DeepSeek、Grok最新公信力測試結果慘淡。英國獨立事實查核慈善組織Full Fact為期十星期的長期實證研究顯示,頂級AI模型普遍存在自信式虛假資訊、數據過時、自行演算錯數、同一問題日間答覆矛盾等嚴重缺陷。AI即使輸出錯誤、過時甚至不成立資訊,仍會以肯定語氣回覆,對大眾依賴AI查詢民生、政策、公共數據構成重大資訊風險。

長達十星期嚴格實測 每日重覆22條民生公共議題

今次測試為業界少有的長期連續性AI公信力研究,團隊由今年7月中展開,連續十星期、每日向五款主流AI拋出22條與民眾權益息息相關的真實議題,涵蓋投票證件要求、難民安置津貼、偷渡小船入境數據、英格蘭足球大賽冠軍年份、政要在任狀態等生活化、高實用度問題。

研究目的精準測試AI的事實準確度、日間穩定性、資訊時效性,驗證大眾日常依賴AI查資料的可靠程度。報道證實,AI大部分情況可給出正確答案,亦能抵禦市面成熟的惡意假資訊,但高頻出現非蓄意但致命的常規錯誤。

多宗經典離譜錯誤曝光 政要狀態、政策數據全面出錯

測試揭露多宗具代表性的嚴重失準個案:

  1. 政治事實嚴重滯後:英國前首相施紀賢(Keir Starmer)早已在今年7月卸任,由貝納姆(Andy Burnham)接任,但DeepSeek遲至9月15日仍堅稱施紀賢為現任首相,資訊滯後兩個月。
  2. 津貼標準沿用舊規:英國尋求庇護者每周生活津貼已於2025年6月由8.86英鎊調升至9.95英鎊,但Gemini、Claude多次輸出已作廢的舊收費標準,誤導民生權益。
  3. 自行演算錯誤數據:被問及2026年上半年小船偷渡入境人數,Gemini在8月4日自行透過官方總數減去單月數據計算,卻忽略日期重疊問題,自行演算製造出錯誤統計數字,而非引用官方權威結果。
  4. 同一問題前後矛盾:針對「英格蘭女足上一次奪得大型足球錦標年份」,多款AI不穩定,部分日子答對2025年歐國盃奪冠,部分日子卻錯答舊紀錄2022年,同一模型答案隨機變動。

錯誤資訊同樣充滿自信

Full Fact行政總裁克里斯·莫里斯(Chris Morris)指出今次測試的核心警號:AI並非刻意散播假資訊,但輸出內容經常不完整、欠缺語境、無權威出處。

最危險之處在於:無論答案正確、過時、虛構甚至未發生,AI均以同樣自信、肯定的語氣輸出。一般使用者難以分辨真偽,長期依賴AI查詢權益政策、法律規定、官方數據,極易被誤導。

隨著現時數以百萬計用戶習慣透過AI查詢「需要什麼證件」「可享有什麼福利」「政策是否改動」,AI資訊失準已構成新型公共資訊安全隱患。

業界通病曝光 大型語言模型存先天時效缺陷

研究總結,五大頂級AI的通病集中三方面:第一,無法自動辨識政策、數據更新,長期留存過時訓練數據;第二,偏好自行推算數據而非引用官方來源,容易出現邏輯漏洞;第三,輸出穩定性不足,無緣由出現前後矛盾答案。

業界分析指,雖然新一代AI已加入實時聯網搜尋功能,但檢證機制薄弱、溯源能力不足、事實交叉比對不完善,仍是所有商業AI的普遍短板。