Hugging Face 发布 EVA 框架用于评估语音代理
hugging face 推出了 eva 框架，利用 bot-to-bot 架构从任务准确性和对话体验两个维度评估语音代理。在对 20 个系统的基准测试中发现，准确性和体验之间存在持续的权衡。该版本包含一个包含 50 个场景的航空数据集。
Hugging Face 推出了 EVA，这是一个用于对话语音代理的端到端评估框架。该框架采用机器人对机器人的架构来评估完整的多轮口语对话，产生两个不同的分数：EVA-A（准确性）和 EVA-X（体验）。研究人员发布了一个初始的航空公司数据集，其中包含 50 种场景，并为 20 个系统（包括音频原生模型和级联模型）发布了基准。研究发现了一个一致的权衡，发现实现高任务完成准确性的代理通常会带来糟糕的用户体验，反之亦然。