GPT-5.6 Sol 在 ARC-AGI-3 上擊敗 Opus 5
openai 聲稱 gpt-5.6 sol 在 arc-agi-3 上得分 38.3%，擊敗了 anthropic 的 opus 5，但這依賴於自定義 api 設置，引發了對基準測試標準化的質疑。
OpenAI 聲稱其 GPT-5.6 SOL 模型在 ARC-AGI-3 基準測試中達到了 38.3% 的準確率，超越了 Anthropic 的 Opus 5 最近創下的 30.2% 的記錄。然而，這個高分取決於使用 OpenAI 的 Responses API，並啟用「保留推理」（retained reasoning）和「壓縮」（compaction）設置，而標準的官方評估框架（harness）卻將模型的準確率限制在了 7.8%，因為它丟棄了步驟之間的推理。ARC 獎的共同創始人 François Chollet 認可使用通用的 API 設置是合理的，並承認之前的官方評估框架可能對 OpenAI 不公平。爭議凸顯了 AI 基準測試越來越多地衡量模型周圍的技術設置，而不僅僅是基礎智能。