KV-PRM：通过 KV 缓存传输进行高效的过程奖励建模，以实现多代理测试时间缩放

arXiv:2607.09153v1 公告类型：新 摘要：过程奖励模型（PRM）已被证明在指导测试时间扩展（TTS）方法方面非常有效，这显着提高了基于 LLM 的多智能体系统的能力。然而，现有的 PRM 是基于文本的：它们从头开始重新编码整个轨迹文本。在长时间的多智能体部署中，评分成本相对于序列长度 L 呈二次方增长，造成了严重的计算瓶颈，严重限制了 PRM 在长上下文场景中的应用。为了解决这个问题，我们引入了 KV-PRM，这是一种高效的过程奖励模型，通过直接读取 LLM 生成阶段自然生成的 KV 缓存来消除繁重的文本重新编码。通过针对预先存在的 KV 缓存处理单个“验证令牌”，KV-PRM 将评分成本从 O(L^2) 降低到 O(L)。我们正式证明，KV 缓存严格包含比文本更大的信息容量，并且对于下游奖励建模更有效。根据经验，在 MATH、GSM8K 和 AIME 基准测试中，KV-PRM 在各种 TTS 方法（例如 Beam Search、MCTS 和加权投票）下均匹配或严格优于文本 PRM，与基于文本的 PRM 相比，评分 FLOP 减少高达 5,000 倍，延迟减少 37 倍，每个序列内存占用减少 34 倍。