探测提示词 KV 缓存：它何时变得可有可无？

背景

在大型语言模型（LLM）的推理过程中，为了加速自回归生成，系统通常会维护一个键值（KV）缓存，用于存储之前所有 token 的键和值向量。随着上下文窗口的增长，这个缓存会占用大量显存并增加内存带宽压力。

现有的 KV 缓存压缩方案大多基于一个经验性的观察：在解码（decoding）阶段，提示词（prompt）部分的 KV 缓存存在部分冗余。因此，许多方法尝试通过丢弃或摘要（summarizing）这些条目来节省资源，且通常假设这种冗余主要源于“内容”本身的信息重复。然而，这一假设缺乏严格的因果验证：我们并不清楚这种冗余究竟发生在模型的哪些层级、经过多少解码步骤后出现，以及这种冗余是以何种形式存在的。

核心内容

这篇来自 arXiv（提交日期为 2026 年 5 月 28 日）的研究论文《Probing the Prompt KV Cache: Where It Becomes Dispensable》通过受控的拼接干预实验，深入探究了提示词 KV 缓存冗余的本质。

研究问题与方法

作者试图回答以下核心问题：

1. 冗余发生在模型的哪些层级？
2. 冗余在解码多少步后变得明显？
3. 提示词跨度（span）的 KV 缓存以何种形式可以被替换而不破坏任务性能？

为了回答这些问题，研究者设计了一个受控的拼接干预（controlled splice intervention）实验，系统地扫描了层级截止点（layer cutoff）和解码步骤（decoding steps）。

核心发现：冗余源于“形式”而非“内容”

实验结果表明，提示词 KV 缓存的冗余性主要与**形式（form）**有关，即聊天模板的结构化脚手架（chat template scaffolding），而非具体的用户输入内容。

具体实验现象如下：

• 替换实验：当使用一个聊天模板脚手架的 KV 缓存来替换上层（upper layers）提示词跨度的 KV 缓存时，如果该脚手架的用户内容是一个中性的填充词（neutral filler），模型的准确率几乎能恢复到与干净（clean）输入相同的水平。
• 清零实验：相反，如果将相同的槽位（slots）直接置零（zeroing），模型的准确率则会急剧下降。

这一对比有力地证明了，模型在上层依赖的是提示词的结构化模式（如 <|user|>, <|assistant|> 等标签及其位置关系），而不是提示词的具体语义内容。只要结构保持完整，具体的文本内容可以被“中性化”而不影响推理结果。

泛化性验证

这种“解离”（dissociation）现象——即结构重要而内容可替换——在多个主流模型家族中得到了复现，包括 Qwen3、Gemma 3 和 Llama 3。研究在多个数据集上验证了这一结论，表明这是一个普遍存在的现象，而非特定模型的偶然行为。

关键要点

• 冗余的本质是结构而非语义：提示词 KV 缓存的冗余主要源于聊天模板的结构化脚手架（scaffolding），而非用户输入的具体文本内容。
• 上层层级对结构更敏感：冗余现象主要出现在模型的上层（upper layers）。这意味着深层网络更倾向于关注输入的结构模式，而非浅层网络那样关注具体的词汇语义。
• 中性填充即可维持性能：用包含中性填充词（neutral filler）的聊天模板脚手架替换原有的提示词 KV 缓存，可以保持接近原始的准确率。
• 直接清零会导致性能崩溃：如果简单地将提示词 KV 缓存置零，模型性能会严重受损，这反证了结构信息的重要性。
• 跨模型通用性：该现象在 Qwen3、Gemma 3 和 Llama 3 等多个主流模型家族中均被观察到，具有广泛的适用性。
• 对压缩策略的启示：现有的 KV 缓存压缩方法可能过于关注内容的摘要或丢弃，而忽视了保留结构化模板的重要性。未来的压缩策略应更注重保留聊天模板的骨架结构。

意义与影响

这项研究对大语言模型的推理优化和 KV 缓存压缩技术具有重要的指导意义：

1. 优化 KV 缓存压缩算法： 传统的 KV 缓存压缩方法（如基于重要性分数的剪枝或向量量化）往往假设提示词内容存在信息冗余。本研究指出，这种冗余更多是结构性的。因此，新的压缩策略可以大胆地对提示词的具体语义内容进行激进压缩或替换，只要保留聊天模板的结构标记（如角色标签、分隔符等），就能在保证性能的同时大幅降低显存占用。

2. 理解模型内部表征机制： 研究揭示了 LLM 在不同层级对输入信息的处理方式差异。浅层可能更关注 token 的语义，而深层则更关注输入的结构和格式。这为解释模型如何“理解”指令遵循（instruction following）提供了新的视角：模型可能通过识别特定的结构模式来激活相应的推理路径，而非仅仅依赖文本语义。

3. 提升长上下文推理效率： 对于长上下文场景，提示词部分往往占据大量 KV 缓存空间。既然上层提示词 KV 缓存可以被中性化的结构模板替代，那么在实际部署中，我们可以动态地将早期生成的提示词 KV 缓存替换为轻量级的结构缓存，从而显著减少内存带宽压力，提升推理吞吐量。

4. 安全与鲁棒性考量： 如果攻击者能够利用这一特性，通过构造特定的结构化输入来干扰模型的内部状态，可能会带来新的安全风险。理解这一机制有助于设计更鲁棒的模型防御策略。

总之，这项研究不仅澄清了 KV 缓存冗余的来源，更为下一代高效推理引擎的设计提供了理论依据：在追求极致效率时，保留“结构”比保留“内容”更为关键。