rotative
the decoder · 2026年5月31日

AI agents无法研究;它们只确认已知信息

一项新研究发现kimi-k2.6等顶尖模型依赖记忆而非工具,在被迫研究全新信息时失败。这暴露了当前agent基准的致命缺陷,混淆了知识检索与研究能力。

read in English · 繁體中文 · 日本語 · 한국어

一项关于11个前沿模型的研究发现,`BrowseComp`基准测试中的高性能源于模型的“内在知识依赖”,即模型利用网络确认预先存在的答案,而不是进行研究。当剥夺了支持答案的文档后,每个模型的表现都比没有搜索工具时更差,其中`MiniMax M2.5`的准确率从44.5%骤降至8.0%。为了测试真正的智能体能力,研究人员构建了`LiveBrowseComp`,并提出了关于近期事件的问题。在这个测试中,模型在没有工具的情况下完全失败,有工具的情况下得分大幅下降,重新洗牌了排行榜,并揭示了当前的基准测试衡量的是知识保留能力,而不是研究能力。

read at source ↗

← rotative