来源:ArXiv AI 2026-07-18 04:00

来自访问结构而不是规模的能力:混合序列模型的下限和预注册测试

能力 收敛 注册 访问 模型
arXiv:2607.14144v1 公告类型:新 摘要:柏拉图表示假说(PRH)认为,随着模型规模的扩大,异构网络的表示会趋向于共享的现实模型。我们提出了它的后续和边界,即能力收敛假设(CCH):在固定的每代币推理预算下,表征收敛并不需要能力收敛。相反,功能会趋向于一个类别,即访问完整的混合体:同时拥有压缩 O(1) 状态通道和可扩展逐字索引通道的任何架构。我们将其锚定在见证任务上,即无限流中的牛顿苹果问题,并命名了三个资源墙:禁止任何 o(Nb) 态架构的香农墙、禁止任何固定窗口的水平墙和禁止固定深度仅注意组合的电路墙(条件为 TC0 != NC1)。在明确的可分离性假设下,混合体通过支付每堵墙的价格来跨越所有三者,因此在组合下能力是严格超可加的。我们将证明与猜想分开:访问完整性原则依赖于信息论下界和预先注册的实验,而领域级收敛趋势是一种经济驱动的猜想。我们报告了在数据之前冻结的标准下的第一个预先注册的小规模测试:测量了预测的剪刀差(一旦 64 标量状态获得一个全局注意力层,精确检索误差为 0.994 与 0.000),状态跟踪分叉落在注册边界处,并且结合见证显示了不可约的双通道解决方案;一项预测因方向相反而失败,并如此报告。代表性收敛是按比例自由给出的;能力融合必须通过接入结构来购买。

相关文章推荐

返回首页