数学推理中思维链的形状

arXiv:2608.28600v1 公告类型：新 摘要：大型语言模型（LLM）在数学推理基准上取得了出色的表现，但其推理背后的数学意义技能仍未得到充分探索。我们引入 \texttt{SHAPE}，一个通过数学教育中开发的两个镜头来分析思想链（CoT）轨迹的框架：（1）语义空间：模型对问题的不断发展的数学解释（例如代数、几何），以及（2）启发式：在这些空间内采取的具体数学行动（例如，简化问题、逆向工作）。我们首先使用\texttt{SHAPE}来分析各种模型的推理模式。我们的研究结果表明，模型采用的数学启发式比传统的 CoT 特征更好地解释了最终答案的正确性。此外，模型很可能通过将推理工作集中在几个语义空间内而不是探索许多不同的空间来得出正确的解决方案——这是与人类行为一致的模式。接下来，我们利用 \texttt{SHAPE} 镜头来评估训练后是否真正提高了数学能力。我们发现强化学习会引发启发式使用中的模式寻求。最后，我们通过促进多样化启发法对法学硕士进行后培训，并证明其在提高准确性方面的有效性。总体而言，\texttt{SHAPE} 为解码 LLM 推理提供了一个有理论基础的诊断框架，并为数学推理的训练后 LLM 提供了一条新途径。我们模型的代码位于 https://github.com/holi-lab/SHAPE-of-CoT