上下文切换任务中没有内存增长的上下文控制

arXiv:2604.03479v1 公告类型：新 摘要：上下文相关的顺序决策通常通过显式提供上下文作为输入或通过增加循环记忆来解决，以便可以在内部表示上下文信息。我们研究第三种选择：通过干预共享的循环潜在状态来实现上下文依赖，而不扩大循环维度。为此，我们引入了一种基于干预的循环架构，其中循环核心首先构建共享的干预前潜在状态，然后上下文通过附加的上下文索引运算符起作用。我们在部分可观察性下的上下文切换顺序决策任务上评估了这个想法。我们比较了三个模型系列：具有直接上下文访问的标签辅助基线、具有扩大的循环状态的记忆基线，以及所提出的干预模型，该模型不使用对循环核心的直接上下文输入，也没有记忆增长。在主要基准上，干预模型在没有额外的循环维度的情况下表现强劲。我们还使用条件互信息 (I(C;O | S)) 作为固定潜在状态下上下文依赖的定理驱动操作探针来评估模型。对于与任务相关的第一阶段结果，干预模型表现出积极的条件背景信息。总之，这些结果表明，对共享循环状态的干预为这种情况下的上下文控制提供了循环记忆增长的可行替代方案。