AI評估成本單次高達4萬美元，成為新的算力瓶頸
huggingface報告稱ai評估正成為新的算力瓶頸。整體智能體排行榜花費4萬美元執行了21,730次滾動。單次gaia運行成本為2,829美元。靜態基準測試壓縮性強，但動態智能體基準測試由於噪聲和腳手架敏感性依然昂貴，推理時算力擴展進一步增加了成本。
Hugging Face 報告稱，AI 評估已成為主要的成本中心。 Holistic Agent Leaderboard (HAL) 花費了 40,000 美元來運行 21,730 次代理滾動，而在前沿模型上運行一次 GAIA 的成本為 2,829 美元（在快取之前）。 Exgentic 發現基於腳手架選擇的成本差距為 33 倍，強調代理評估本質上是有噪音的，與靜態 LLM 基準相比難以壓縮。
歷史數據顯示，靜態基準允許顯著壓縮 — Flash-HELM 實現了 100 倍至 200 倍的計算量減少，同時保留排名。然而，這些技術對於代理系統失敗。 在迴圈中訓練的基準和需要重複可靠的運行進一步增加了開支，使評估成為較小模型的主要計算項目。