通过激活聚合压缩提示

背景

大语言模型（LLM）在处理提示（prompt）时，需要将输入的 token 序列通过数十层神经网络逐步传播激活，最终生成响应。这一过程在每次查询时都会重复处理完整的 token 序列，尤其是对于固定指令（如系统提示、任务模板）而言，产生了大量不必要的计算开销。如何在不牺牲任务性能的前提下压缩提示中的信息，从而加速推理、降低显存占用，是当前 LLM 部署中的一个关键问题。传统压缩方法如 token 剪枝、量化或蒸馏往往需要重新训练模型或改变架构，且压缩率有限。该论文提出了一种基于激活聚合的提示压缩方法，探索能否将指令提示中的任务相关信息压缩为单个激活向量，并直接注入模型，从而完全替代原始 token 序列的处理。

核心内容

该论文来自 arXiv cs.CL，提交于 2026 年 7 月 9 日，标题为 "Prompt Compression via Activation Aggregation"。核心研究内容如下：

大语言模型通过数十层传播激活来处理提示。研究者提出一个问题：能否将指令提示中包含的任务相关信息压缩成一个单一的激活向量，然后重新注入模型，用这个向量替换原始的 token 序列？他们证明了这是可行的，具体方法是在目标 LLM 的中间层提取激活，学习一个加权和（weighted sum），然后将这个压缩向量注入到早期层。这个压缩后的向量能够保留任务相关信息，相对于完整提示处理，精度下降不到 2%。

除了实际意义——例如对于固定指令提示，无需重新处理原始 token 序列即可减少每次查询的计算量——该研究还揭示了 LLM 激活空间中的一些结构性特征：

• 中层表示能够有意义的转移到早期层，这表明模型在编码信息时存在一定程度的跨层兼容性。
• 单个激活向量能够编码可量化的、可恢复的语义信息量。
• 激活的加权和是一种鲁棒的信息表示压缩器。

论文还提供了 PDF 和 HTML 版本，并引用了相关工具（如 Bibliographic Explorer、Connected Papers、Litmaps、scite Smart Citations 等），以及代码和数据相关的平台（如 alphaXiv、CatalyzeX Code Finder、DagsHub、Hugging Face 等）。当前摘要中未给出具体的实验结果数值或模型细节，但核心结论清晰：通过激活聚合实现的提示压缩在保持低精度损失的前提下是可行的。

关键要点

• 压缩方法：使用学习到的加权和，从中间层提取激活并注入到早期层，替代原始 token 序列。
• 性能表现：相对于完整提示处理，压缩后的向量导致准确率下降低于 2%。
• 跨层兼容性：中层表示可以有意义地转移到早期层，说明 LLM 中不同层之间对信息的编码方式存在一定的兼容性。
• 单向量编码能力：单个激活向量能够编码可量化的、可恢复的语义信息，意味着激活空间具有高密度信息表征能力。
• 加权和作为鲁棒压缩器：激活的加权和是一种鲁棒的表示压缩方法，能够有效保留任务相关信息。
• 实际应用：对于固定指令提示，无需重新处理原始 token 序列，从而降低每次查询的计算成本。

意义与影响

该研究为 LLM 的推理加速和内存优化提供了一条全新思路。传统上，压缩提示需要改变输入文本本身（如 token 剪枝或摘要），而该方法直接在模型内部的激活空间中进行压缩，不改变输入序列，因此可以无缝集成到现有部署中。其低于 2% 的精度损失表明该方法具有很高的实用性，特别适合那些指令固定但输入变化的场景（如对话系统、任务代理中重复使用的系统提示）。此外，所发现的激活空间结构性特征——跨层兼容性、单向量编码能力和加权和的鲁棒性——为理解 LLM 内部信息表示机制提供了实证支持，可能启发后续更高效的模型压缩、知识蒸馏和可解释性研究。尽管论文尚未公开具体的实现细节和实验数据集，但其概念性验证为未来开发更轻量、更高效的提示压缩技术奠定了基础。