Cartridges at Scale：在大规模文档集合上训练模块化 KV 缓存

背景

大型语言模型（LLMs）在处理长上下文推理时面临一个核心效率瓶颈：预填充（prefilling）阶段需要处理数百万个 token，而其中大量内容在不同查询之间是静态不变的。这种重复计算造成了巨大的算力浪费。

为了解决这一问题，研究人员提出了“Cartridges”（弹匣/缓存模块）的概念。其核心思想是将文档集合蒸馏为可复用的键值（KV）缓存。通过这种方式，模型在推理时无需重新预填充静态内容，从而消除预填充开销，同时保持推理准确性。

然而，现有的 Cartridges 方法存在两个关键局限性：

1. 单体架构缺乏扩展性：将整个文档集合编码为单个 KV 块的方式无法扩展至大规模数据。
2. 非组合性导致性能崩溃：如果简单地将孤立训练的多个 Cartridges 混合使用，模型性能会急剧下降，接近随机猜测水平。

核心内容

针对上述挑战，研究团队提出了 Cartridges at Scale (CAS)，这是一个用于可扩展多 Cartridges 学习的训练框架。CAS 通过引入动态干扰项混合（dynamic distractor mixing）和内存高效的预算管理器，解决了大规模文档集合下的训练难题。

1. 动态干扰项混合与模块化学习

CAS 不再尝试将所有信息压缩进一个巨大的单体缓存中，而是为每个文档或文档子集训练独立的“每文档 Cartridges”（per-document cartridges）。在训练过程中，框架采用动态干扰项混合策略，即在输入中随机引入其他无关的 Cartridges 作为干扰。这种机制迫使模型学会区分不同文档的 KV 信息，从而解决了孤立训练导致的性能崩溃问题，使多个 Cartridges 能够有效地组合使用。

2. 内存高效的预算管理器

为了应对大规模数据带来的存储和计算压力，CAS 设计了一种内存高效的预算管理器。该管理器负责在 GPU 显存和持久化存储之间轮换数百个每文档 Cartridges。这种机制允许系统在处理超过一百万 token 的庞大文档集合时，依然保持高效的运行状态，而不会耗尽 GPU 资源。

3. 性能表现与对比

实验结果表明，CAS 在可扩展性上取得了显著突破：

• 超越单体模型：在相同的 token 预算下，CAS 的性能比单体 Cartridges 提高了 10-31 分。
• 高压缩率下的准确性：即使在高压缩率下，Oracle Cartridge（理想选择下的 Cartridge）的准确率也仅比完整的上下文学习（in-context learning）低 2-6 分。
• 结合检索的优势：当 CAS 与检索机制结合用于 Cartridge 选择时，其准确率匹配甚至超过了传统的检索增强生成（RAG）系统，同时消耗的提示词（prompt） token 数量仅为传统方法的 1/3 到 1/4。

关键要点

• 解决扩展性难题：CAS 框架成功将 Cartridges 技术从小规模演示扩展到了超过一百万 token 的大规模文档集合。
• 模块化优于单体：通过训练多个独立的、可组合的每文档 Cartridges，而非单一的巨大缓存，显著提升了系统的可扩展性和灵活性。
• 动态混合训练是关键：引入动态干扰项混合策略，有效解决了多模块混合使用时性能下降的问题，实现了模块间的协同工作。
• 资源效率极高：通过 GPU 与持久化存储之间的轮换机制，CAS 在有限的硬件资源下实现了大规模数据的处理。
• 性能媲美甚至超越 RAG：在结合检索选择机制后，CAS 不仅保持了高准确率，还将提示词 token 消耗降低了 3-4 倍，大幅提升了推理成本效益。

意义与影响

Cartridges at Scale (CAS) 的提出标志着 LLM 上下文管理技术的一个重要进步。它证明了通过模块化和蒸馏技术，可以在不牺牲准确性的前提下，大幅降低处理长文档集合的计算成本。

对于工业界而言，CAS 提供了一种比传统 RAG 更高效的知识注入方案。它减少了每次查询所需的 token 数量，直接降低了 API 调用成本或本地部署的计算负载。同时，其模块化特性使得知识库的更新和维护更加灵活——只需更新或替换特定的文档 Cartridges，而无需重新训练整个模型或重建巨大的单体缓存。

此外，CAS 在保持高压缩率的同时仍能维持接近完整上下文学习的准确率，这为在资源受限的边缘设备或大规模并发场景中部署具备长记忆能力的 LLM 提供了新的技术路径。