RoCo-ACE：用于保留感知知识注入的转出条件在线蒸馏

arXiv:2607.24771v1 公告类型：新 摘要：知识注入用新的事实或特定领域的知识更新预训练的 MLLM，但拟合完整的权威答案可能会导致未更新行为的漂移。在线蒸馏通过对模型生成的推出进行训练来减轻这种漂移，但统一的参考条件蒸馏提供了粗略的监督：它可能会低估参考支持的推出标记，并且只能间接监督遗漏的事实。我们推出了 RoCo-ACE，这是一种用于知识注入的滚动条件在线蒸馏目标。 RoCo 使用相同的转出无参考/参考条件似然对比，将额外的蒸馏权重重新分配给参考支持的转出令牌，而 ACE 为转出中省略的权威锚点添加稀疏参考侧锚定校正，而无需完整答案模仿。在三种知识注入设置、六个保留基准、多个基线和多个基本模型中，RoCo-ACE 在比较方法中实现了最佳的知识注入准确性，同时保持评估的保留接近基本模型。