Hugging Face 發布 EVA 框架用於評估語音代理
hugging face 推出了 eva 框架，利用 bot-to-bot 架構從任務準確性和對話體驗兩個維度評估語音代理。在對 20 個系統的基準測試中發現，準確性和體驗之間存在持續的權衡。該版本包含一個包含 50 個場景的航空數據集。
Hugging Face 推出了 EVA，一個用於對話式語音代理的端到端評估框架。該框架採用機器人對機器人的架構來評估完整的多輪口語對話，產生兩個不同的分數：EVA-A（準確度）和 EVA-X（體驗）。研究人員發布了一個初始的航空公司數據集，其中包含 50 個場景，並發布了 20 個系統的基準，包括音頻原生模型和串聯模型。研究發現了一個持續的權衡，發現實現高任務完成準確性的代理通常會帶來糟糕的用戶體驗，反之亦然。