前沿模型在代理式企业IT任务中失败率超50%
claude opus 4.7 在itbench-aa sre基准测试中领先，得分为47%。该基准包含59个kubernetes事件排查任务，所有模型得分均低于50%。
人工分析（Artificial Analysis）与 IBM 共同推出了 Itbench-AA SRE，这是一个基准测试，评估前沿模型在 59 个站点可靠性工程（Site Reliability Engineering，SRE）任务上的表现，这些任务需要对 Kubernetes 事件进行根本原因诊断。Claude Opus 4.7 以 47% 的成绩领先，其次是 GPT-5.5 的 46%，而 GLM-5.1 在开放权重模型中排名第一，达到 40%。结果表明，更长的推理轨迹并不保证准确性，因为因假阳性而受到惩罚的模型往往比更简洁的代理表现更差。