GPT-5.6 Sol 在 ARC-AGI-3 上击败 Opus 5
openai 声稱 gpt-5.6 sol 在 arc-agi-3 上得分 38.3%，擊敗了 anthropic 的 opus 5，但這依賴於自定義 api 設置，引發了對基準測試標準化的質疑。
OpenAI 声称其 GPT-5.6 SOL 模型在 ARC-AGI-3 基准测试中达到了 38.3% 的准确率，超过了 Anthropic 的 Opus 5 最近创下的 30.2% 的记录。然而，这个高分数依赖于使用 OpenAI 的 Responses API，并启用了“保留推理”（retained reasoning）和“压缩”（compaction）设置，而标准的官方测试框架则限制模型的准确率在 7.8%，因为它丢弃了步骤之间的推理。ARC 奖的联合创始人 François Chollet 承认，通用的 API 设置是合理的，他也承认之前的官方测试框架可能对 OpenAI 不公平。这种争议凸显了 AI 基准测试越来越多地衡量的是模型周围的技术设置，而不仅仅是基础智能。