METR 的 $2,500 基準證明 AI 在代碼方面仍落後於人類
metr 引入了‘支出地平線’指標，顯示人類改進 nanogpt 的成本約為 $2,500/百分點，而只有頂級模型如 gpt-5.5 和 opus-4.8 提供可行的自動化，這表明智能體在複雜研發中仍然效率低下。
METR 發布了一個框架，通過定義「支出範圍」（expenditure horizon）來量化自動化的價值，即某一任務中 AI 成本等於人力成本的預算點。在應用於 Nanogpt Speedrun 的分析中，估計人類花費大約 2,500 美元可獲得 1% 的性能提升，基於 16 小時的工作時間和 150 美元的時薪。在與 10,000 美元預算的正面測試中，GPT-5 和 Opus-4.1 沒有帶來可驗證的改善，而 GPT-5.5 和 Opus-4.8 分別實現了 1% 至 1.5% 的性能提升。結果表明，儘管最先進的模型開始跨越複雜工程的成本效益門檻，但大多數 AI 代理在高風險研發任務中仍然在經濟上不可行。