图反馈控制开放权重语言模型群体中的共识和派系形成

arXiv:2607.12077v1 公告类型：新 摘要：多代理语言模型系统越来越多地路由本地交互，但运行时交互图通常被视为实现细节。我们使用命名游戏协议研究跨越 1.1B-32B 参数的开放权重 LM 群体中的约定形成。对标记器安全标签的限制的第一个标记分数让我们可以测量提示条件的分数状态分布，构建状态相似性图，并将采样标签协议与潜在状态空间共识分开。在受控干预中，在主要的开放权重修复网格中，保留合作伙伴标签证据是必要的，但还不够：同源阈值相似性路由删除了跨流域暴露并放大了碎片，而寻求桥梁的路由通常在内存可用时修复碎片。在三种子混合四模型网格中，阈值相似性在 189 次设置种子运行中不会产生最终的行为或状态共识，而状态组件和标签不一致桥在 14/18 保留记忆运行中恢复最终的行为共识。在同质模型群体中，保留的历史通常会将分散的动态转变为共识；最明显的例子是 Qwen2.5-32B，它在所有 18 个保留历史良好混合的设置中达成了稳定的行为和最终状态共识，而阈值相似性在 189 个设置中没有达到任何形式的共识。对状态阈值、人口规模和词汇量的鲁棒性保留了定性排序，早期窗口图能量特征提供了有用的网格内诊断。