提示压缩的Levy游走图剪枝方法
速览
现有提示压缩方法将文本当作平坦序列，无法捕捉重要信息在多位置的分布关系。RAGP创新性地构建多层图结构，融合细粒度注意力依赖和粗粒度语义关系，通过Levy游走平衡局部精炼与全局探索，实现高效剪枝。实验在LongBench上验证，该方法在4倍压缩比下平均得分49.3，优于现有LLM压缩技术，并在多任务上超越视觉文本压缩范式。
AI 深度解读
## 背景
现有提示压缩方法将文本视为平坦的标记序列，无法捕捉重要信息的分布式性质。这种信息往往分散在多个位置，并通过局部句法依赖和全局语义关系连接。这种关系结构自然可用图表示：标记或句子作为节点，其依赖作为边。
## 核心内容
该论文提出RAGP（Redundancy-Aware Graph Pruning）方法，将提示压缩形式化为在多层图（multiplex graph）上的冗余感知图剪枝。多层图联合建模了细粒度基于注意力的依赖和粗粒度语义关系。
为高效识别此异质结构（密集局部子图和稀疏全局连接）中的非冗余节点，采用Lévy walks（莱维游走）。其重尾步长分布自然平衡局部开发与全局探索。
在LongBench数据集上的实验表明，RAGP在4倍压缩比下平均得分为49.3，优于现有的基于LLM的压缩方法（如LongLLMLingua在3倍压缩比下得分为48.8）。此外，RAGP还在多项任务上超越了基于视觉的文本压缩范式。代码已公开。
## 关键要点
- 现有压缩方法忽略文本中重要信息的分布式特性与多层关系结构
- RAGP将压缩建模为多层图上的冗余感知剪枝，融合细粒度注意力依赖与粗粒度语义关系
- 采用Lévy walks通过重尾步长分布实现局部与全局的平衡搜索
- 在LongBench上，RAGP实现4倍压缩比下的49.3平均分，超越LongLLMLingua等方法
- RAGP还优于视觉文本压缩范式，在多项任务上表现更优
## 意义与影响
RAGP首次将提示压缩问题转化为图剪枝任务，将文本的分布式重要信息与图的异质结构深度融合，显著提升压缩效率与保真度。相比传统序列方法，该框架能更好地保留关键信息在长上下文中的分布结构，有望推动LLM在长文本处理场景中的应用（如长文档理解、检索增强生成等）。实验结果显示其在压缩比下的性能优势明显，为后续高效提示工程研究提供了新范式。论文已提交至arXiv cs.CL，并公开代码，预计将影响NLP领域对长上下文管理的优化。