OpenAIのGPT-5.6 Sol、ARC-AGI-3でAnthropicのOpus 5を上回る――ただしルールを変えて
OpenAIのGPT-5.6 SolはカスタムAPIハーネスを使用してarc-agi-3ベンチマークで38.3%を記録し、Claude Opus 5の30.2%を上回った。OpenAIは、ベンチマークが測るのはモデルだけでなくシステム構成だと主張しており、AI性能の標準化のあり方が再定義される可能性がある。
OpenAI は、ARC-AGI-3ベンチマークでのGPT-5.6 SOLのスコアを公開し、38.3%という高いスコアを報告した。これは、AnthropicのClaude Opus 5の記録30.2%を上回るものである。この優れた性能は、ステップ間のコンテキストを保存するために「Retained Reasoning」および「Compaction」を活用したカスタムレスポンスAPI構成に依存している。逆に、外部メモリ補助を厳格に制限する公式のハーネスで評価した場合、GPT-5.6 SOLのスコアは7.8%に急落した。OpenAIは、ベンチマークはモデル機能とシステム統合の両方の複合指標であると主張している。これは、生のモデル推論を評価するのではなく、展開された製品のパフォーマンスを評価する間の緊張関係が増していることを浮き彫りにしている。