VehicleMemBench：车载代理中多用户长期记忆的可执行基准

arXiv:2603.23840v1 公告类型：新 摘要：随着对智能车载体验的需求不断增长，基于车辆的代理正在从简单的助手演变为长期的伴侣。这种演变要求代理不断地对多用户偏好进行建模，并在面对用户间偏好冲突和随时间变化的习惯时做出可靠的决策。然而，现有的基准在很大程度上仅限于单用户、静态问答设置，无法捕捉偏好的时间演变以及真实车辆环境的多用户、工具交互性质。为了解决这一差距，我们推出了 VehicleMemBench，这是一个基于可执行车载模拟环境构建的多用户长上下文内存基准测试。该基准通过将行动后的环境状态与预定义的目标状态进行比较来评估工具的使用和内存，从而实现客观且可重复的评估，而无需基于法学硕士或人工评分。 VehicleMemBench包括23个工具模块，每个样本包含超过80个历史内存事件。实验表明，强大的模型在直接指令任务上表现良好，但在涉及记忆演化的场景中表现不佳，特别是当用户偏好动态变化时。即使是先进的内存系统也难以处理这种环境中特定于域的内存需求。这些发现强调需要更强大、更专业的内存管理机制来支持现实车载系统中的长期自适应决策。为了方便将来的研究，我们发布了数据和代码。