前沿模型在代理式企業IT任務中失敗率超50%
claude opus 4.7 在itbench-aa sre基準測試中領先，得分為47%。該基準包含59個kubernetes事件排查任務，所有模型得分均低於50%。
人工分析與 IBM 介紹了 itbench-aa SRE，一個在 59 個網站可靠性工程任務中評估前沿模型的基準，這些任務需要對 Kubernetes 事件進行根本原因診斷。Claude Opus 4.7 以 47% 的成績領先，其次是 GPT-5.5 的 46%，而 GLM-5.1 在開放權重模型中排名第一，達到 40%。結果表明，較長的推理軌跡並不能保證準確性，因為因假陽性而受到懲罰的模型往往比更簡潔的代理表現更差。