Can I Buy Your KV Cache？：当AI代理开始共享“记忆”

背景

在当前的AI代理（AI Agents）生态中，存在一个被广泛忽视但极其低效的现象：成千上万的代理正在重复相同的计算工作。当多个AI代理需要阅读同一份文档时，每个代理都会独立地从头开始运行“预填充”（prefill）过程。

预填充是大语言模型推理过程中计算密集度最高的步骤，涉及对输入文本进行完整的注意力机制计算。然而，由于输入文本是相同的，每个代理最终构建出的键值缓存（KV Cache）也是完全一致的。这意味着，同一个答案被计算了数百万次，造成了巨大的算力浪费。

这篇来自 arXiv（提交于2026年6月11日，注：原文日期显示为未来时间，此处按原文呈现）的论文提出了一种近乎“冒犯性”简单的解决方案：只计算一次。通过让发布者预计算文档的KV缓存，并允许其他代理购买加载该缓存的权利以跳过预填充步骤，可以显著降低计算成本。

核心内容

1. 核心机制：KV缓存复用

论文的核心提议是建立一个市场机制，允许KV缓存的买卖。

• 预计算与加载：发布者预先计算文档的KV缓存。其他代理无需重新运行预填充，而是直接购买加载权，加载已存在的KV缓存并继续推理。
• 精度无损：这种复用是“Token精确”（token-exact）的。实验表明，加载预计算的KV并继续推理，与从头预填充在贪婪解码（greedy tokens）和logits级别上完全一致（24/24 tokens匹配），没有任何准确性损失。

2. 成本效益分析

以 Qwen3-4B 模型为例，复用的计算成本远低于预填充：

• 计算节省：复用比预填充便宜 9-50倍。
• 长度扩展性：随着文本长度增加，预填充的注意力计算复杂度呈 $L^2$ 增长，而KV缓存复用的优势会进一步扩大。因此，单次复用即可收回成本。

3. 部署难题：KV缓存的位置

论文深入探讨了KV缓存的存储和传输问题，指出了两种路径的优劣：

• 传输失败：试图通过网络传输KV缓存是行不通的。因为KV缓存几乎不可压缩，每次加载的出口带宽（egress）成本甚至高于预填充本身节省的成本。
• 服务端托管：类似于生产环境中的提示词缓存（prompt-caching），将KV缓存托管在服务提供商侧是最佳方案。这完全消除了出口带宽成本。

4. 经济模型与市场潜力

论文通过具体案例量化了市场规模：

• 案例数据：向 8000万 个代理服务一个 3774 token 的热文档：
  • 重新预填充成本：约 $1.5M。
  • 复用计算成本：约 $0.03M。
  • 节省倍数：49.7倍。
• 定价策略：目前API服务商收取的0.1倍缓存读取费率，给用户带来了10倍的折扣。这个10倍折扣是“地板价”，而实测的计算节省约为50倍。这中间的差额（约40倍）构成了服务提供商的利润空间。
• 商业前景：对于热门文档，这种模式能为提供商带来数百万美元的利润。

5. 未来挑战

论文将这一构想定义为“代理原生预填充CDN”（agent-native prefill CDN），并指出了两个待解决的开放性问题：

1. 无损KV压缩：如何进一步压缩KV缓存以减少存储和传输开销。
2. 跨方支付层：如何建立机制让缓存提供者、使用者和基础设施提供商之间进行公平的利益分配。

关键要点

• 痛点明确：当前AI代理在处理相同文档时，重复进行高成本的预填充计算，导致巨大的算力浪费。
• 技术可行性：KV缓存复用在数学和工程上是精确的，不会导致模型输出精度的下降。
• 成本优势巨大：在Qwen3-4B模型上，复用比预填充便宜9-50倍，且文本越长，优势越明显。
• 传输非解法：KV缓存不可压缩，通过网络传输KV缓存的成本高于预填充，因此必须采用服务端托管模式。
• 商业闭环清晰：实测计算节省（~50x）远高于当前API缓存折扣（10x），为服务提供商留下了巨大的利润空间，激励其构建缓存基础设施。
• 新基础设施形态：这将催生一种“代理原生预填充CDN”，类似于传统的CDN，但专门用于分发LLM的中间状态（KV Cache）。

意义与影响

1. 重塑LLM推理的经济模型

这篇论文揭示了一个被忽视的经济漏洞：LLM的推理成本中，预填充（Prefill）阶段占据了巨大比例，但这一阶段的计算结果（KV Cache）具有极高的可复用性。通过引入“KV缓存市场”，可以将LLM推理从“每次请求独立计算”转变为“共享记忆”模式，从而大幅降低大规模并发场景下的边际成本。

2. 推动AI代理（Agent）的大规模落地

AI代理的核心优势在于自动化和并发处理，但当前的算力瓶颈限制了其规模。如果代理可以廉价地“购买”其他代理已经计算好的上下文记忆，那么处理长文档、复杂知识库检索等任务的效率将呈指数级提升。这将加速AI代理在金融分析、法律文档审查、代码库理解等高价值场景中的普及。

3. 催生新型基础设施：LLM CDN

传统的CDN加速的是静态内容的分发，而本文提出的概念将加速“模型状态”的分发。未来可能会出现专门针对LLM推理优化的CDN服务，它们不仅缓存响应结果，更缓存模型的中间状态（KV Cache）。这将改变云服务提供商（如AWS、Azure、阿里云）的定价策略和架构设计，从单纯售卖GPU算力转向售卖“缓存即服务”（Cache-as-a-Service）。

4. 技术挑战与研究方向

尽管经济模型诱人，但技术实现仍面临挑战：

• 存储效率：KV Cache随上下文长度线性增长，海量文档的缓存存储需求巨大。无损压缩技术的突破将是关键。
• 安全与隐私：如果代理A的缓存被代理B加载，是否涉及数据泄露？如何确保缓存内容的权限控制？
• 标准化：不同模型架构（如Transformer、Mamba等）的KV Cache格式不同，跨模型复用需要标准化的接口。

总之，这篇论文不仅是一个技术提案，更是一个商业蓝图。它指出了AI基础设施从“计算密集型”向“数据/状态共享型”演进的可能路径，为构建更高效、更经济的AI代理生态系统提供了理论基础。