Intel:エージェントのスケーリングはトークンの問題ではなく、密度の問題
Intelが数千のエンタープライズAIワークロードをベンチマークしたところ、本番環境への展開では、素の推論速度よりもエージェント密度(vCPUあたりのエージェント数)の測定がより重要であることが判明した。
Intelは、ターミナルベンチ（terminal-bench）と呼ばれるオープンソースのプロファイリングツールの拡張バージョンを使用して、数千のエージェントAIワークロード実験を分析し、エンタープライズの成功は、単なる推論問題ではなく、エージェントをシステムの問題として扱うことに依存することを突き止めた。この研究では、エージェント密度（VCPUあたりのエージェント数）が、単純なエージェント数に取って代わり、キャパシティプランニングの主要な指標として確立され、平均CPU使用率ではなく、タスクレイテンシの監視が強調されている。これらの調査結果は、エンタープライズは、基礎となるLLMを評価するだけでは信頼性の高いスケーリングはできず、厳格なオブザーバビリティとメモリ管理を実装することによってのみエージェントを信頼性をもってスケーリングできることを示している。コストとパフォーマンスを管理するために、オペレータは、特定の計算集中型制約を除いて、スケールアウトアーキテクチャをデフォルトにし、スケールアップを予約する必要がある。