学习通过 Meta-LoRA 适应跨域偏好以实现 LLM 个性化

arXiv:2608.12389v1 公告类型：新 摘要：跨域零次或少次个性化旨在仅通过少数目标域交互在看不见的对话域中生成用户首选的响应。现有的适应方法很难在证据稀疏的情况下校准更新幅度，从而导致过度拟合，而历史迁移方法经常将用户偏好与源域工件纠缠在一起，产生不可靠的个性化先验和负迁移。为了校准证据质量的适应，我们提出了 PAC-Bayes 正则化 Meta-LoRA，它使用元学习的 LoRA 初始化作为适应开始和先验中心，同时根据支持集大小和预测不确定性调整更新强度。这限制了稀疏或模糊证据下的过度拟合，同时随着证据的增长允许更强的个性化。仅受控适应并不能确定哪些偏好应跨域转移或应如何表达。因此，我们在功能上将个性化先验分解为用户和域组件，使用人类可读的提示来实现稳定的偏好，并使用拓扑保留的软令牌来进行特定于域的隐藏空间调节。跨多个基准和个性化任务的实验显示，与强基准相比，获得了一致的收益。在 HiCUPID 上，我们的方法相对于最佳竞争基线将跨域获胜率下降减少了 47.9%，并在未见过的用户冷启动下将获胜率提高了 110.2%。