AI评估成本单次高达4万美元，成为新的算力瓶颈
huggingface報告稱ai評估正成為新的算力瓶頸。整體智能體排行榜花費4萬美元執行了21,730次滾動。單次gaia運行成本為2,829美元。靜態基準測試壓縮性強，但動態智能體基準測試由於噪聲和腳手架敏感性依然昂貴，推理時算力擴展進一步增加了成本。
Hugging Face 报告称，AI 评估已成为一个主要的成本中心。Holistic Agent Leaderboard (HAL) 运行 21,730 次智能体 rollout，花费了 40,000 美元，而在前沿模型上运行一次 GAIA 的成本为 2,829 美元（在缓存之前）。Exgentic 确定了基于支架选择的 33 倍成本差异，强调智能体评估本质上是有噪声的，与静态 LLM 基准相比难以压缩。
历史数据显示，静态基准允许显著压缩 — Flash-HELM 实现了 100 倍 - 200 倍的计算减少，同时保持排名。然而，这些技术对智能体系统无效。循环训练基准和需要重复可靠运行进一步增加了开支，使评估成为较小模型的主要计算项目。