AI 평가 비용이 회당 40,000달러에 도달, 새로운 컴퓨팅 병목으로 부상
huggingface에 따르면 AI 평가가 새로운 컴퓨팅 병목이 되고 있습니다. holistic agent leaderboard는 21,730회 롤아웃에 40,000달러를 지출했으며, gaia 단일 실행 비용은 2,829달러에 이릅니다. 정적 벤치마크는 잘 압축되지만, 동적 에이전트 벤치마크는 노이즈와 스캐폴드 민감성 때문에 여전히 비용이 많이 들고 추론 시간 컴퓨팅 확장 비용도 발생합니다.
허깅 페이스(Hugging Face)는 AI 평가가 주요 비용 센터가 되었다고 보고했다. Holistic Agent Leaderboard (HAL)는 21,730 에이전트 롤아웃을 실행하기 위해 40,000달러를 지출했으며, 프론티어 모델에 대한 단일 GAIA 실행은 캐싱 전에 2,829달러의 비용이 들었다. Exgentic는 스캐폴드 선택에 따라 33배의 비용 스프레드를 식별했으며, 에이전트 평가는 정적 LLM 벤치마크에 비해 본질적으로 잡음이 많고 압축하기 어렵다는 점을 강조했다.
과거 데이터에 따르면 정적 벤치마크는 상당한 압축을 허용한다. Flash-HELM은 순위 보존과 함께 100배-200배의 컴퓨팅 감소를 달성했다. 그러나 이러한 기술은 에이전트 시스템에서는 실패한다. 반복적인 신뢰할 수 있는 실행을 위한 훈련-루프 벤치마크 및 필요성은 비용을 더욱 증가시켜 평가를 더 작은 모델에 대해 지배적인 컴퓨팅 항목으로 만든다.