表征干预实现终身非结构化知识控制

arXiv:2511.20892v1 公告类型：新 摘要：大型语言模型（LLM）通常会产生不正确或过时的内容。在不进行昂贵的再培训的情况下高效、准确地更新他们的知识是一项重大挑战。对于终生环境中的复杂、非结构化知识来说，这个问题尤其困难，因为许多编辑必须在不受干扰的情况下共存。我们引入 RILKE（终身知识控制的表示干预），这是一种稳健且可扩展的方法，它将知识控制视为模型表示空间内的干预。利用表示空间的表现力，我们确定了两个属性，使 RILKE 能够对复杂的非结构化知识进行细粒度控制，同时通过冻结的基本权重保持通用性。在训练过程中，RILKE 学习释义鲁棒性和编辑本地化模块，这些模块将每次更新限制在低维子空间，以最大限度地减少交叉编辑干扰。在推理中，查询自适应路由器选择适当的模块来指导模型的生成。在使用 LLaMA 和 Qwen 模型对知识编辑基准进行评估时，RILKE 可扩展到大规模数据集，展示出高编辑成功率、强大的释义泛化性，并以适度的内存开销保留通用实用性。这些结果表明 RILKE 是法学硕士终身知识控制的有效且可扩展的解决方案。