Claude Fable 5 領先 RadLE 2.0 —— 為何“不知道”勝過準確率
radle 2.0 基準測試顯示前沿模型存在高度自信的幻覺；claude fable 5 通過優先考慮安全性而非原始準確率而領先。
Crash Lab 推出了 Radle 2.0，以評估 AI 模型是否能安全處理放射科病例，透過辨識何時將判斷委託給人類。測試了 16 個模型，涵蓋 200 個病例，該基準測試懲罰高置信度錯誤，並獎勵不確定性，結果顯示人類放射科醫師在綜合準確度-置信度指標上仍然優於 AI。Claude Fable 5 在主要指標中排名第一，因其安全地拒絕了困難病例；而 Gemini 3 Pro 則具有最高的原始命中率。針對醫療的特定模型和開放權重模型表現不佳，嘗試以危險的置信度回答每個問題。這表明，儘管模型準確度接近人類水準，但其自我評估能力不足仍然是臨床部署的一大障礙。