Akashic：具有 MemAttention 的低开销 LLM 推理服务

arXiv:2607.05708v1 公告类型：新 摘要：最近基于 LLM 的代理系统不断积累多轮交互、工具调用和跨会话工作流的上下文。重播每个请求的完整历史记录很快就变得不切实际：长上下文会增加预填充成本，可能会超出上下文限制，并且经常将与任务相关的证据隐藏在不相关的内容中，从而降低服务效率和输出质量。我们提出了 Akashic，一种围绕 MemAttention 构建的低开销记忆系统，它将上下文组织成有界的块，并对跨块的语义关系进行建模，保留跨块的证据，而无需重复重写完整的历史记录。 Akashic 进一步应用硬件-软件共同设计的内存布局来共同定位可能共同检索的块，从而减少检索碎片和 I/O 开销。在四种代表性工作负载和三种模型大小中，与之前强大的内存基准相比，Akashic 将任务准确性提高了高达 10.2 分，吞吐量提高了 1.21 倍，可持续请求率提高了 1.88 倍。