ProcAgent：通过人在环进行边缘程序任务指导的代理框架

arXiv:2607.24770v1 公告类型：新 摘要：家具组装和家庭维修等程序性任务提出了很高的认知要求，因为用户必须在执行身体动作时解释指令、跟踪任务进度、推理空间状态并从错误中恢复。之前的多模式助手已显示出程序指导的前景，但大多数依赖于云推理和固定的始终在线感知，这使得它们不太适合隐私敏感、延迟关键的家庭环境。我们推出了 ProcAgent，这是一款完全在设备上、基于视觉的代理程序助手，可在单个 NVIDIA Jetson AGX Orin 上提供实时自适应指导。 ProcAgent 使用提议和验证架构，结合了低延迟连续感知、符号任务图、按需视觉语言验证和基于 LLM 的交互代理。该系统不断建议用户进度，仅在出现歧义或可能出现偏差时调用昂贵的视觉推理，并支持反应式问答和通过人机交互确认进行主动干预。我们从四个维度评估ProcAgent：感知准确性、推理、任务级性能和用户体验。尽管完全在设备上运行，但系统仍保持响应式交互，在大约 2 秒内解决纯文本查询，在大约 8 秒内解决基于视觉的查询。在一项由 10 名参与者完成组装任务的用户研究中，ProcAgent 在可理解性、可操作性和隐私舒适度方面获得了积极的评价。这些结果表明，自适应程序辅助可以完全在边缘硬件上实现，而不会牺牲可用性。