Akashic用MemAttention实现低开销LLM推理服务

背景

近年来，基于 LLM（Large Language Model，大语言模型）的智能体系统在多轮交互、工具调用以及跨会话工作流中不断累积上下文。每收到一次请求就回放全部历史记录很快变得不切实际：长上下文增加了预填充（prefill）阶段的成本，可能超出上下文长度限制，而且经常将任务相关的有效证据淹没在无关内容中，既降低了服务效率也损害了输出质量。现有的记忆系统在管理这种连续累积的上下文时面临两难：要么完整保留历史导致开销过大，要么截断或摘要丢失关键跨块证据。

核心内容

针对上述问题，本文提出 Akashic——一个基于 MemAttention 的低开销 LLM 推理服务系统。Akashic 的核心思想是将上下文组织成有界的语义块（bounded chunks），并通过 MemAttention 机制建模块与块之间的语义关系，从而在不反复重写完整历史的前提下保留跨块的有效证据。具体而言：

• MemAttention 将连续的交互历史切分为固定大小的块，并为每个块维护语义嵌入向量。
• 在处理新请求时，MemAttention 基于查询与块嵌入的语义相似度，动态检索最相关的若干块，而不是读取整个历史。
• 跨块的证据通过块间注意力机制（跨块语义关系建模）被保留，即使相关证据分散在不同块中也能被聚合。

在此基础上，Akashic 进一步应用了硬件-软件协同设计的内存放置策略（hardware-software co-designed memory placement）。它将很可能被同时检索的块放置在物理上邻近的存储位置，从而减少检索碎片（retrieval fragmentation）和 I/O 开销，提升访问效率。

在实验评估中，作者选取了四种代表性工作负载（涵盖多轮对话、工具调用、长文档问答等）以及三个不同规模的 LLM 模型（具体模型未在摘要中列出，但原文正文应有详述）。与现有的强基线记忆系统相比，Akashic 取得了以下量化收益：

• 任务准确率：最高提升 10.2 个百分点（absolute improvement）
• 吞吐量（throughput）：最高提升 1.21 倍
• 可持续请求率（sustainable request rate）：最高提升 1.88 倍

关键要点

• 问题定位：长上下文累积导致预填充成本高、可能超出上下文窗口、相关证据被淹没——传统回放或截断方案效率低且质量差。
• 核心创新：MemAttention 将历史组织成有界块并建模块间语义关系，实现低开销的跨块证据保留。
• 存储优化：硬件-软件协同设计的内存放置策略通过将共检索块集聚来减少碎片和 I/O 延迟。
• 性能收益：在四个工作负载和三个模型大小上，Akashic 在准确率、吞吐量和可持续请求率三个维度均显著超越强基线。
• 适用范围：面向 LLM agent 场景的多轮交互、工具调用和跨会话工作流。

意义与影响

Akashic 为 LLM 推理服务的上下文管理提供了一种新范式。传统方法要么依赖完整历史回放（开销大、有长度限制），要么使用截断或摘要（丢失跨块证据）。MemAttention 的语义分块 + 跨块建模思路在保留完整上下文信息的同时大幅降低存储和计算开销，使得超长序列的在线推理变得可行。硬件-软件协同设计进一步将检索效率推向实际部署可用的水平。这项工作的影响可能体现在：

• 推动 LLM agent 系统从“单次短对话”向“持久化、跨会话的长期记忆”演进。
• 为云端推理服务提供更高效的上下文缓存策略，降低运营成本。
• 其分块-检索-跨块建模的思想也可迁移至其他序列处理任务（如长文档理解、代码库级上下文管理等）。

需要注意的是，本文作为 arXiv 预印本（提交日期为 2026 年 7 月），尚需进一步同行评审，但所提出的方向和技术细节对于当前 LLM agent 系统面临的上下文管理瓶颈具有明确的启发意义。