Hugging Face, 분산형 커뮤니티 평가 도입
Hugging Face가 AI 평가(evals)를 분산화하고 있습니다. 이제 데이터셋 저장소에서 eval.yaml을 통해 리더보드를 호스팅합니다. 사용자는 .eval_results/*.yaml 파일로 풀 리퀘스트를 통해 결과를 제출하며, 검증 배지가 재현성을 보장합니다. 이를 통해 MMLU-Pro와 GPQA 같은 벤치마크의 단일 진실 공급원(single source of truth)이 만들어집니다.
허깅 페이스(Hugging Face)는 AI 벤치마크 보고를 분산화하는 베타 기능을 출시했다. 데이터셋 저장소는 이제 벤치마크로 등록하고 `eval.yaml` 명세서를 사용하여 자체 리더보드를 호스팅할 수 있다. 이 표준화는 모델들이 `.eval_results/*.yaml` 파일에 평가 결과를 저장할 수 있게 하며, 이는 자동으로 데이터셋 카드에 집계된다. 커뮤니티 구성원은 풀 리퀘스트를 통해 결과를 제출할 수 있어 MMLU-Pro, GPQA 및 HLE와 같은 플랫폼에서 투명성과 재현성을 촉진한다. 이 이니셔티브는 보고된 점수의 분산화와 현재 리더보드의 포화 상태를 해결한다.