Claude Fable 5 领先 RadLE 2.0 —— 为何“不知道”胜过准确率
radle 2.0 基准测试显示前沿模型存在高度自信的幻觉；claude fable 5 通过优先考虑安全性而非原始准确率而领先。
Crash Lab 推出了 Radle 2.0，以评估 AI 模型是否能通过识别何时需要人工干预来安全地处理放射学病例。在测试了 16 个模型，涵盖 200 个病例后，该基准测试惩罚了高置信度错误，并奖励不确定性，结果显示人类放射科医生在综合准确率-置信度指标上仍然优于 AI。Claude Fable 5 通过安全地拒绝困难病例，在主要指标上排名第一，而 Gemini 3 Pro 则具有最高的原始命中率。针对医疗领域的特定模型和开放权重模型表现不佳，因为它们试图以危险的置信度回答每个问题。这表明，虽然模型的准确率接近人类水平，但它们无法自我评估仍然是临床部署的一大障碍。