Hugging Face 推出去中心化社群評估功能
hugging face 正在去中心化 ai 評估。資料集儲存庫現在透過 eval.yaml 託管排行榜。使用者可以透過 pull request 在 .eval_results/*.yaml 中提交結果。驗證徽章確保可複現性。這為 mmlu-pro 和 gpqa 等基準建立了單一事實來源。
Hugging Face 推出了去中心化 AI 基準報告的測試功能。資料集儲存庫現在可以註冊為基準測試（benchmarks），並使用 `eval.yaml` 規格託管自己的排行榜。 這種標準化允許模型將評估結果儲存在 `.eval_results/*.yaml` 檔案中，然後自動匯總到資料集卡片中。社群成員可以透過拉取請求提交結果，在 MMLU-Pro、GPQA 和 HLE 等平台上實現透明度和可複製性。 這項舉措解決了報告分數的碎片化和當前排行榜的飽和問題。