来源:ArXiv AI 2026-05-11 04:00

语言模型何时提交?预言语化承诺的有限答案理论

答案 模型 语言 有限 稳定
arXiv:2605.06723v1 公告类型:新 摘要:语言模型通常会在给出最终答案之前生成推理,但可见的答案并不能揭示模型的答案偏好何时变得稳定。我们通过一个狭窄的可计算对象来研究这个问题:\emph{有限答案偏好稳定}。对于模型状态和指定的答案语言器,我们将模型自身的连续概率投影到有限答案集上;在二进制任务中,这会产生精确的对数赔率代码,$\delta(\xi)=S_\theta(\mathrm{yes}\mid\xi)-S_\theta(\mathrm{no}\mid\xi)$。该目标定义了基于解析器的答案开始、回顾性稳定时间和领先,而不依赖于贪婪的推出或学习的探针。在使用 Qwen3-4B-Instruct 的受控延迟判决任务中,上下文有限答案投影在答案可解析之前稳定下来,主模板中的 17--31 标记平均领先,以及解析器干净复制中的正、较短领先。该信号跟踪模型的最终输出而不是事实,可以从紧凑的隐藏摘要中线性恢复,与光标进度部分分离,并且作为共享信息进行传输,而无需单个不变坐标。诊断将测量与在线停止、无语言者信念和因果答案控制分开;精确的转向显示$\delta$的局部灵敏度,但不可靠的发电控制。

相关文章推荐

返回首页