DecodeShare：追踪 LLM 解码时间决策的共享子空间

arXiv:2607.20469v1 公告类型：新 摘要：大型语言模型（LLM）使用一组参数处理许多任务，但在 KV 缓存推理下，不清楚在解码时而不是在预填充期间使用哪种任务通用结构（如果有）。我们提出了 DecodeShare，这是一种协议，它识别解码时隐藏状态下的任务之间一致共享的低维子空间，然后通过仅在解码期间删除该子空间来测试其因果作用。在我们的实验中，在相同的干预预算下，干扰发现的共享子空间比干扰预填充派生子空间或随机子空间更会降低决策性能。我们进一步表明，这种解码共享子空间对激活引导具有实际影响：公共引导方向可以与任务通用解码通道重叠。投影出这个共享子空间直接分离了两个组件的功能角色，同时在解码时评估引导向量可以为下游部署产生比基于预填充的代理更可靠的信号。尽管共享子空间很紧凑，但它可以在解码时充当高杠杆因果通道。代码位于：https://github.com/Zishan-Shao/decodeshare.git。