偏离轨迹推理：法学硕士可以在推理轨迹上进行合作吗？

arXiv:2510.06410v1 公告类型：新 摘要：推理法学硕士接受过语言化推理过程的培训，在复杂任务上取得了巨大的成果。这种透明度也开辟了一个有希望的方向：多个推理器可以在共享轨迹内直接协作彼此的思维，从而产生更好的推理效率和探索。然而，一个关键的先决条件是能够评估有用性并建立在另一个模型的部分思维之上——我们称之为偏离轨迹推理。我们的论文研究了一个关键问题：标准的单独推理训练流程能否提供所需的偏离轨迹行为？我们提出了捕捉偏离轨迹谱的两个极端的双重测试，即可恢复性（Recoverability），它测试法学硕士是否可以从误导性推理痕迹引起的“分心”中回溯，以及引导性（Guidability），它测试他们从更强大的合作者那里建立正确推理的能力。我们的研究评估了 15 个开放权重法学硕士 (1.5B-32B)，并揭示了一个违反直觉的发现——在基准上“更强”的法学硕士在分心的情况下往往更脆弱。此外，所有测试的模型都未能有效利用合作者针对超出其固有能力的问题的指导步骤，解决率仍低于 9.2%。最后，我们进行控制研究，以隔离训练后三个因素对这些行为的影响：蒸馏老师的选择、强化学习的使用和数据选择策略。我们的结果为培训天生推理能力强的合作者提供了可行的见解；例如，我们发现即使蒸馏轨迹是正确的，教师模型的次优可恢复性行为也会转移到蒸馏学生身上。总而言之，这项工作为评估共享推理轨迹中的多模型协作奠定了基础，并强调了现成推理法学硕士的局限性。