跳到主要內容
727財經
繁體中文

25款模型集體輸給人類:AI仍看不懂很多生活常識

動察 Beating AI 快訊,Scale AI 旗下研究機構 Scale Labs 聯合 Elorian 發佈新評測 Humanity’s Sixth Sense(HSS),專門測試 AI 能否從圖片和視頻中看出隱含信息。522 道開放題涵蓋 288 張圖片和 234 段視頻。比如,兩輛車之間能否通過、女子追公交時為甚麼突然放慢腳步,以及一個場合中誰更有話語權。

研究團隊測試了 25 款多模態模型,並讓 20 名人類受試者答題。人類準確率達到 93.1%,排名第一的 GPT-6 Astra 即使用最大推理力度,也只有 53.6%。GPT-6.1 Sol 和 Claude Opus 5.5 分別獲得 46.6% 和 44.6%,所有模型的得分中位數僅 30.9%。

研究人員分析了 8573 次模型失敗,發現 94% 與漏看關鍵線索、認錯對象或無法推斷畫面中的隱含關係有關。只有約 5% 被歸類為邏輯推理錯誤。社交理解尤其困難,25 款模型中有 21 款在這類題上表現最差。視頻題也普遍比圖片題更難。

增加推理量也未必有效。模型平均每題消耗約 4000 個推理 token,部分題目想得越久,成績反而越差。研究團隊還嘗試讓 Agent 放大、裁剪和反復檢查畫面,成績有所提升,但仍與人類有明顯差距。

相關資訊

  1. 分析師:BTC短線持有者籌碼重定價,7.5 萬-7.8 萬美元區間出現承接力

  2. 央行將召開股票回購增持再貸款座談會

  3. 北美地區開始實行冬令時,美股開盤時間調整至22:30

  4. Echelon:官網已恢復,智能合約並未受損害

  5. 科技七巨頭盈利增速或自2022年末以來首次落後標普500其餘成分股