OpenAI GPT-5.6 Sol 擊敗 Anthropic Opus 5 —— 但僅靠改變規則實現
openai 的 gpt-5.6 sol 使用自訂 api 測試環境在 arc-agi-3 上獲得 38.3% 的分數，擊敗了 claude opus 5 的 30.2%。openai 聲稱基準測試衡量的是系統設置而不僅僅是模型，這可能重新定義 ai 性能的標準化方式。
OpenAI 發布了 GPT-5.6 Sol 在 ARC-AGI-3 基準測試中的分數，報告最高分為 38.3%，擊敗了 Anthropic 的 Claude Opus 5 的 30.2% 的記錄。這種優越的性能依賴於自定義的 Responses API 配置，使用「保留推理」（retained reasoning）和「壓縮」（compaction）來保留步驟之間的上下文。相反，當在嚴格限制外部記憶輔助的官方測試框架下評估時，GPT-5.6 Sol 的分數驟降至 7.8%。OpenAI 堅持認為基準測試是模型能力和系統整合的綜合指標。這凸顯了在評估原始模型推理能力與評估部署產品性能之間日益增長的緊張關係。