METRの2,500ドルベンチマーク、AIがコーディングでは依然として人間に及ばないことを証明
metrは「expenditure horizon」という指標を導入し、人間は約2,500ドル/パーセントでnanoGPTを改善できる一方、gpt-5.5やopus-4.8といった最上位モデルだけが実用可能な自動化を提供すると示しました。これはAIエージェントが複雑なR&Dには依然として非効率であることを意味します。
Metrは、「支出の地平線」—特定のタスクにおけるAIのコストと人間のコストが等しくなる予算ポイントを定義することにより、自動化の価値を定量化するためのフレームワークをリリースした。 NanoGPTのスピードランに適用すると、分析により、16時間の作業を150ドル/時間の割合で行ったことから、人間は1％のパフォーマンス向上に約2,500ドルを費やしていると推定された。 10,000ドルの予算でヘッドツーヘッドテストを行った結果、GPT-5とOpus-4.1は検証可能な改善をもたらさなかったのに対し、GPT-5.5とOpus-4.8はそれぞれ1〜1.5％の向上を達成した。 結果は、最先端のモデルは複雑なエンジニアリングの費用対効果のしきい値を超え始めているが、大多数のAIエージェントは、ハイステークスのR＆Dタスクに対して経済的に実行可能ではないことを示唆している。