对话代理的多维评估可操作化：具有选择性重新评估和模型基准测试的可扩展、受管理的管道

arXiv:2607.12085v1 公告类型：新 摘要：评估零售会话代理需要词汇重叠指标之外的方法来评估意图一致性、事实性、有用性、清晰度、语气和整体响应质量。尽管法学硕士作为法官的方法为人工评估提供了可扩展的替代方案，但生产部署在治理、可重复性、成本、模式一致性、可追溯性和可靠性方面带来了挑战。我们推出了 GenAI 评估，这是一个受管理的、配置驱动的管道，用于大规模评估零售对话系统。它通过规范化、分片、异步执行和模式约束的 LLM 评分来处理生产聊天机器人日志。该框架评估有用性、真实性、清晰度、语气一致性和翻译特定维度。选择性重新评估仅处理不完整、格式错误或架构无效的记录，而架构锁定、版本化配置、验证日志和记录级出处则支持可审核性。该框架每天处理大约 50,000 条记录，并评估了超过 200 万次交互。验证使用了来自四位训练有素的注释者的 12,980 条分层随机人工标记记录。分类涵盖 14 个意图、156 个子意图、18 个主要领域和 129 个子领域。该管道的宏观 F1 得分为 0.93，人类可接受的翻译准确度为 89%。