METR의 $2,500 벤치마크, 코딩에서 AI가 여전히 인간보다 못하다를 입증
metr가 인간이 약 $2,500/퍼센트로 nanoGPT를 개선한다는 것을 보여주는 'expenditure horizon' 지표를 소개했습니다. gpt-5.5, opus-4.8 같은 최상위 모델만이 실행 가능한 자동화를 제공하며, 에이전트가 복잡한 r&d에서는 여전히 비효율적임을 시사합니다.
메트르(METR)는 '지출 지평선(expenditure horizon)'을 정의하여 자동화 가치를 정량화하는 프레임워크를 발표했다. 이는 특정 작업에 대해 AI 비용과 인간 비용이 동일한 예산 지점을 말한다. 나노GPT 스피드런에 적용된 분석에 따르면, 인간은 1% 성능 향상을 얻기 위해 약 2,500달러를 지출하는데, 이는 16시간의 작업에 150달러의 시간당 요율을 곱한 값이다. 10,000달러의 예산으로 진행된 정면 테스트에서 GPT-5와 Opus-4.1은 검증 가능한 개선을 제공하지 못한 반면, GPT-5.5와 Opus-4.8은 각각 1~1.5%의 성능 향상을 달성했다. 결과는 최첨단 모델이 복잡한 엔지니어링에 대한 비용 효율성 임계값을 넘기 시작했지만, 대부분의 AI 에이전트는 여전히 고위험 R&D 작업에 대해 경제적으로 실행 가능하지 않음을 시사한다.