Princeton의 8,000 에이전트 연구, '스킬'은 사실이 아닌 절차로 작동함을 발견
Princeton과 UC San Diego 연구진이 8,135회 테스트를 실시한 결과, '스킬'은 지식이 아닌 절차적 그라운딩(procedural grounding)을 통해 에이전트를 향상시키며, 더 큰 라이브러리에서는 검색이 실패한다는 사실을 밝혀냈습니다.
프린스턴 대학교와 UC 샌디에이고의 연구진은 AI '스킬' - 특정 작업을 위한 컴팩트한 명령 세트 - 이 에이전트 성능을 향상시키는 이유를 결정하기 위해 8,000건 이상의 테스트를 분석했습니다. 결과는 스킬이 지식 기반으로서가 아니라 절차적 플레이북으로 가장 잘 작동하여 에이전트 작업을 안정시키고 65.7%의 경우에서 실행 오류를 줄이는 것으로 나타났습니다. 연구에서는 확장성의 중요한 병목 현상을 식별했습니다. 스킬 라이브러리가 5개에서 100개 항목으로 확장되면 에이전트가 올바른 지침을 검색하는 능력이 29.6%에서 3.3%로 급격히 떨어집니다. 또한 에이전트는 10%의 경우에 부적절하게 스킬을 기계적으로 적용했습니다. 저자들은 미래의 에이전트는 단순히 더 많이 저장하는 것보다 스킬을 만들고 검색하고 적용하기 위한 더 나은 라이프사이클 관리가 필요하다고 결론지었습니다.