AI 에이전트는 연구하지 못한다, 이미 아는 것만 확인할 뿐
새로운 연구에 따르면 kimi-k2.6 같은 최상위 모델들은 도구 대신 메모리에 의존하며, 진정으로 새로운 정보를 조사해야 할 때 실패합니다. 이는 지식 검색을 연구 능력과 혼동하는 현재 에이전트 벤치마크의 치명적인 결함을 드러냅니다.
11개의 프론티어 모델에 대한 연구에서 BrowseComp 벤치마크에서의 높은 성능은 모델이 사전에 존재하는 답변을 확인하기 위해 웹을 사용하는 '내재적 지식 의존성(intrinsic knowledge dependence)'에서 비롯된다는 것이 밝혀졌다. 즉, 모델이 연구를 수행하는 대신 사전에 존재하는 답변을 확인하기 위해 웹을 사용한다는 것이다. 답변을 지원하는 문서가 없었을 때, 모든 모델은 검색 도구가 전혀 없는 경우보다 더 나쁜 성능을 보였으며, MiniMax M2.5는 정확도가 44.5%에서 8.0%로 급격히 떨어졌다. 실제 에이전트 능력을 테스트하기 위해 연구자들은 최근 이벤트에 대한 질문이 포함된 LiveBrowseComp를 구축했다. 여기서 모델은 도구 없이 완전히 실패했으며, 도구를 사용해도 엄청난 점수 하락을 보였으며, 리더보드의 순위가 바뀌어 현재 벤치마크가 연구 기술을 측정하는 것이 아니라 지식 보유를 측정한다는 사실이 드러났다.