Hugging Face、ツール使用エージェント向けベンチマークVAKRAを公開
Hugging Faceは、ローカルでホストされた8,000以上のAPIを対象にAIエージェントの推論を評価するベンチマーク「VAKRA」を公開しました。データセットには、3〜7ステップのチェーンを必要とする2,077件のslot-birdインスタンスと1,597件のrest-birdインスタンスが含まれています。初期の分析では、これらのマルチステップのエンタープライズワークフローにおけるモデルのパフォーマンスの低さが示されています。
Hugging Faceは、エンタープライズ環境におけるAIエージェントを評価するためのツール基盤のベンチマークであるVAKRAをリリースした。このフレームワークは、エージェントが62のドメインにわたる8,000を超えるローカルホストAPIを介して3〜7ステップをチェーンすることを要求することで、構成的推論をテストする。実際のデータベースによってサポートされている。データセットは、データ操作のためのSLOT-BIRDおよびSEL-BIRDコレクションを使用して2,077インスタンスで構成され、エンドポイントスタイルのインタラクションのためのREST-BIRDコレクションを使用して1,597インスタンスで構成されている。分析の結果、現在のモデルはこれらのマルチステップワークフローに対してパフォーマンスが低いことが示されている。