Princeton's 8,000-agent study found skills work by process not facts
princeton and uc san diego researchers ran 8,135 tests finding 'skills' improve agents via procedural grounding, not knowledge, as retrieval fails in larger libraries.
普林斯頓大學和加州大學聖地亞哥分校的研究人員分析了超過 8,000 次測試運行，以確定為什麼 AI「技能」（特定任務的緊湊指令集）能提高智能體（agent）的性能。結果顯示，技能最佳地作為程序操作指南，穩定智能體的動作並在 65.7% 的情況下減少執行錯誤，而不是作為知識庫。研究發現了擴充規模的一個關鍵瓶頸：當技能庫從 5 個條目擴充到 100 個時，智能體檢索正確指令的能力從 29.6% 下降到 3.3%。此外，智能體在 10% 的情況下機械地不適當地應用技能。作者們得出結論，未來智能體需要更好的生命周期管理，以創建、檢索和應用技能，而不僅僅是存儲更多技能。