Claude Opus 3, ARC-AGI에서 100% 달성 — 단 Nvidia의 커스텀 하네스를 사용했을 때만
Nvidia 연구진들이 슈퍼바이저 컴포넌트를 갖춘 커스텀 하네스를 활용해 ARC-AGI 벤치마크에서 Claude Opus 3 점수를 30%에서 100%로 끌어올렸으며, 이는 장기 과제에서 모델 크기보다 스캐폴딩이 더 중요하다는 점을 증명합니다.
엔비디아 연구에 따르면 맞춤형 하네스인 Agentic Variation Operators (AVO)가 Claude Opus 3가 ARC-AGI 벤치마크에서 100%의 점수를 획득할 수 있게 해주었으며, 이는 30%의 기준선에서 크게 뛰어오른 수치이다. 이 시스템은 주요 모델의 방향을 수정하기 위해 감독 에이전트를 활용하여 긴 시계열 작업에서 AI가 이탈하는 문제를 해결했다. 이 발견은 모델 크기에 대한 업계의 초점을 도전하며, 메모리 및 피드백을 관리하는 '하네스' 또는 스캐폴딩이 에이전트 성능의 진정한 동인임을 시사한다. 이는 개발자들이 순수 모델 기능보다 런타임 인프라를 우선시해야 함을 시사한다.