Hugging Face, 음성 에이전트용 EVA 프레임워크 출시
Hugging Face가 봇 대 봇(bot-to-bot) 아키텍처를 사용해 음성 에이전트를 작업 정확도와 대화 경험 양면에서 평가하는 프레임워크 EVA를 소개했습니다. 20개 시스템 벤치마킹 결과 일관된 정확도-경험 트레이드오프가 드러났습니다. 이번 릴리스에는 50개 시나리오를 담은 항공 데이터셋이 포함되어 있습니다.
Hugging Face는 대화형 음성 에이전트에 대한 종단 간 평가 프레임워크인 EVA를 도입했습니다. 이 프레임워크는 전체, 다중 턴 대화 평가를 위해 봇-투-봇(bot-to-bot) 아키텍처를 사용하여, EVA-A(정확도)와 EVA-X(경험)이라는 두 가지 별도의 점수를 생성합니다. 연구진은 50개 시나리오를 포함하는 초기 항공사 데이터 세트를 공개하고, 오디오 기본 모델 및 캐스케이드를 포함한 20개 시스템에 대한 벤치마크를 발표했습니다. 이 연구에서는 높은 작업 완료 정확도를 달성하는 에이전트는 종종 열악한 사용자 경험을 제공하며, 그 반대의 경우도 항상 상충 관계가 있음을 발견했습니다.