通过世界模型从人类偏好和理由中学习安全代理行为

arXiv:2607.13172v1 公告类型：新 摘要：我们解决了在环境动态未知且没有合适的奖励函数可用的情况下安全训练代理策略并部署良好且安全的策略的问题。在安全关键环境的背景下，我们认为传统的强化学习不切实际，并求助于人力输入资源。我们推出 DROPJ，一种以人为本的安全培训和部署方法。我们首先从先前的现实世界轨迹数据集中学习一个世界模型（一个学习的模拟器）。然后，人类在这个学习模拟器中玩游戏，以提取几个信息丰富的模拟轨迹。从中，我们对模拟轨迹段进行采样，并从人们那里引出他们对这些段的偏好，以及他们选择的原因（理由）。然后，我们根据这些合理的偏好训练奖励模型，并将其与世界模型一起使用，以使用模型预测控制直接部署代理。运行真实用户实验，我们发现与其他策略相比，从用户生成信息丰富的模拟轨迹可以显着降低训练期间的计算成本，并且还可以提高部署期间的性能。在学习模拟器中进行训练的情况下，我们表明使用偏好而不是其他类型的反馈可以显着提高部署期间的性能。我们进一步证明，伴随偏好的安全理由可以显着增强安全性或在部署期间优先考虑与其相关的用户指定的安全方面。