CacheWeaver：面向高效 Grounded RAG 推理的缓存感知证据排序

背景

检索增强生成（Retrieval-Augmented Generation, RAG）技术通过引入外部知识库，显著提升了大语言模型（LLM）回答事实性问题时的准确性与可 grounding 能力。然而，RAG 的引入也带来了明显的性能瓶颈：为了将检索到的证据（Evidence）注入提示词（Prompt），输入序列的长度大幅增加，导致推理服务中的预填充（Prefill）阶段计算成本急剧上升。

目前，主流的推理引擎（如 vLLM）普遍采用前缀缓存（Prefix Caching）技术来优化这一过程。该技术的核心逻辑是：如果连续的请求共享相同的 Token 前缀，引擎可以复用之前计算好的 KV Cache，从而大幅降低延迟。

但在 Grounded RAG 的实际场景中，这一优化机制面临失效风险。尽管相邻查询可能检索到内容高度重叠的证据集合，但由于检索排序算法或查询细微差异，这些证据在 Prompt 中的排列顺序往往不同。对于缓存引擎而言，[证据A, 证据B] 和 [证据B, 证据A] 被视为完全不同的前缀，导致缓存命中率低下，无法有效复用计算资源。

核心内容

针对上述痛点，研究团队提出了 CacheWeaver，一种轻量级的提示词层方法，旨在通过“缓存感知的证据排序”来提升 Grounded RAG 的推理效率。

1. 核心机制：前缀树与贪婪遍历

CacheWeaver 不改变底层推理引擎（如 vLLM）的代码，也不改变检索器返回的证据集合，而是作为一个调度层，位于检索模块和推理模块之间。其工作流程如下：

• 维护前缀树：系统维护一个前缀树（Prefix Tree），记录近期服务过的证据序列。
• 贪婪排序策略：当新的查询到来时，CacheWeaver 会对检索到的证据集合进行重新排序。它使用贪婪遍历（Greedy Walk）算法，在已知的证据序列前缀树中寻找能够最大化复用现有缓存前缀的证据排列顺序。
• 优先放置高复用前缀：策略的核心是将最可能被复用的证据前缀放置在 Prompt 的最前端，从而最大化前缀缓存的命中率。

2. 实验验证

研究团队在三种不同的 vLLM 配置下对 CacheWeaver 进行了评估，主要指标为首次生成令牌的时间（Time-to-First-Token, TTFT）。

• 性能提升：与直接使用检索顺序的前缀缓存相比，CacheWeaver 将中位 TTFT 降低了约 20% 至 33%。
• 质量无损：在问答（QA）测试中，这种排序优化并未对答案的质量产生负面影响。
• 接近理论最优：CacheWeaver 采用的贪婪策略达到了“预言机排序”（Oracle Ordering，即理论上最优的排序方式）所带来中位 TTFT 增益的 97.5%。

这一结果证明，通过检索与推理之间一个简单的调度层，即可恢复大部分可复用的前缀局部性（Prefix Locality），无需复杂的模型修改或昂贵的计算开销。

关键要点

• 痛点精准打击：解决了 RAG 场景中因证据顺序不同导致的前缀缓存失效问题，即“集合重叠”不等于“前缀重叠”。
• 轻量级架构：CacheWeaver 仅作用于提示词层，无需修改 vLLM 等底层推理引擎代码，部署成本低，兼容性强。
• 显著的性能优化：在保持答案质量不变的前提下，将中位首次令牌生成时间（TTFT）降低了 20%-33%。
• 高效算法设计：基于前缀树的贪婪遍历策略，以极低的计算开销实现了接近理论最优（97.5%）的缓存增益。
• 通用性：该方法适用于任何基于检索增生的 LLM 应用，特别是那些检索证据具有高度重叠性的场景。

意义与影响

CacheWeaver 的提出为大规模部署 RAG 系统提供了一条极具性价比的优化路径。

首先，它揭示了在 LLM 服务中，数据排列顺序与计算资源复用之间的紧密耦合关系。传统的 RAG 优化多集中于检索精度或模型微调，而 CacheWeaver 证明了通过简单的排序调度即可释放巨大的性能潜力。

其次，对于追求高并发、低延迟的企业级应用而言，降低 TTFT 意味着更高的吞吐量（Throughput）和更低的服务器成本。由于 CacheWeaver 不需要替换现有的推理引擎（如 vLLM、TGI 等），企业可以在不重构基础设施的情况下，直接通过软件层面的优化获得显著的性能提升。

最后，该研究强调了“系统层优化”与“算法层优化”结合的重要性。在 AI 工程化落地的过程中，针对特定工作负载（如 RAG）的细粒度调度策略，往往能带来比通用模型改进更直接的经济效益。