CUAAudit：视觉语言模型作为自主计算机使用代理审核员的元评估

arXiv:2603.10577v1 公告类型：新 摘要：计算机使用代理（CUA）正在成为人机交互的新范式，通过感知高级自然语言指令实现桌面环境中任务的自主执行。随着此类代理的能力越来越强并部署在不同的桌面环境中，以可扩展且可靠的方式评估其行为成为一项严峻的挑战。现有的评估管道依赖于静态基准、基于规则的成功检查或手动检查，这些方法脆弱、成本高昂且与现实世界的使用情况不太相符。在这项工作中，我们研究视觉语言模型（VLM）作为自主审计员，直接从可观察的交互中评估 CUA 任务的完成情况，并对五个 VLM 进行大规模元评估，根据自然语言指令和最终环境状态来判断任务是否成功。我们的评估涵盖 macOS、Windows 和 Linux 环境中三个广泛使用的 CUA 基准，并沿着三个互补维度分析审核员行为：准确性、置信度估计校准和模型间一致性。我们发现，虽然最先进的 VLM 实现了很强的准确性和校准，但所有审计员在更复杂或异构的环境中都表现出显着的性能下降，甚至高性能模型在他们的判断中也表现出明显的分歧。这些结果暴露了当前基于模型的审计方法的基本局限性，并强调在现实环境中部署自主 CUA 时需要明确考虑评估者的可靠性、不确定性和方差。