Princetonの8,000エージェント研究、「スキル」は事実ではなくプロセスで機能すると判明
PrincetonとUC San Diegoの研究者らが8,135件のテストを実施。「スキル」は知識ではなく手続き的グラウンディングによってエージェントを向上させることが判明した。大規模なライブラリでは検索が失敗するためだ。
プリンストン大学とカリフォルニア大学サンディエゴ校の研究者らは、AIの「スキル」（特定のタスクのためのコンパクトな命令セット）がエージェントのパフォーマンスを向上させる理由を調べるために、8,000回以上のテストを実行した。結果は、スキルは知識ベースとしてではなく、手順のプレイブックとして機能することでエージェントのアクションを安定させ、実行エラーを65.7%のケースで削減するのに最も効果的であることを示した。研究では、スケーリングにおける重要なボトルネックが特定された。スキルライブラリが5エントリーから100エントリーに拡張されると、エージェントが正しい命令を回収する能力は29.6%から3.3%に急激に低下する。また、エージェントは10%のケースでスキルを機械的に不適切に適用した。著者らは、将来のエージェントは、単により多くのスキルを蓄積するのではなく、スキルを作成、回収、適用するためのより良いライフサイクル管理を必要とすると結論付けている。