Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution

背景

稀疏自编码器（Sparse Autoencoders, SAEs）已成为从大型语言模型（LLMs）中提取可解释特征的重要工具。通过 SAE，研究人员能够识别出模型内部神经元激活所对应的具体语义或概念特征，从而打开“黑盒”，理解模型的决策过程。

然而，现有的标准 SAE 架构存在一个显著的局限性：它们通常针对单个 token 的激活进行操作。这意味着，随着上下文长度（context length）的增加，处于激活状态的特征数量也会呈线性增长。在处理长上下文（long context）场景时，这种线性扩展使得分析模型的完整转录文本变得极其困难，甚至不可行。长上下文带来的数据量爆炸，严重阻碍了基于 SAE 的可解释性技术在真实长对话或长文档场景中的实际应用。

核心内容

为了解决上述问题，研究人员提出了一种名为 Turn-Averaged SAEs（轮次平均稀疏自编码器） 的新架构。该方法的核心思想是对 SAE 的输入和重构目标进行重新定义，使其适应对话式或长文本交互的结构。

1. 从 Token 级到 Turn 级的转变

传统的 SAE 处理的是单个 token 的激活向量。而 Turn-Averaged SAEs 将输入单位从“单个 token”提升为“单个轮次（Turn）”。在对话系统中，一个 Turn 通常指代一次完整的用户输入（Human turn）或模型回复（Assistant turn）。

2. 学习重构平均激活

该模型通过学习来重构整个 Turn 内的平均模型激活（average model activation）。具体而言，它不再试图精确还原 Turn 中每一个 token 的独立激活状态，而是捕捉该 Turn 内所有 token 激活值的统计平均特征。

3. 固定数量的特征表示

通过这种平均化机制，无论一个 Turn 包含多少个 token，Turn-Averaged SAEs 都能用固定数量的特征来表征该 Turn。这消除了特征数量随上下文长度线性增长的瓶颈，使得长上下文的处理在计算上变得可行。

4. 特征解释力的验证

研究团队通过 LLM 评估发现，当以 LLM 作为裁判时，Turn-Averaged 特征比传统的 per-token（逐 token）特征更能完整地描述单个 Turn 的高级特征（high-level characteristics）。这表明，平均激活捕捉到了更具语义整体性的信息，而非局部的、碎片化的 token 细节。

5. 简化下游应用

Turn-Averaged SAEs 极大地简化了 SAE 的常见下游任务，例如**归因图（attribution graphs）**的构建。在长上下文中，传统的逐 token 归因会产生海量的节点和边，难以可视化和分析；而 Turn-Averaged 方法将复杂度降低了一个数量级，使得归因分析更加清晰和实用。

关键要点

• 解决长上下文瓶颈：Turn-Averaged SAEs 通过固定特征数量，解决了标准 SAE 在处理长上下文时特征数量线性增长导致的可扩展性问题。
• 重构目标创新：模型学习重构的是 Turn 内的平均激活值，而非单个 token 的激活值，从而实现了从细粒度 token 到粗粒度 Turn 的抽象。
• 语义完整性更强：评估显示，Turn-Averaged 特征在描述 Turn 的高级语义特征方面，比逐 token 特征表现更好，更符合人类对“一句话”或“一段回复”的整体理解。
• 下游任务简化：该方法显著降低了归因分析等下游任务的复杂度，使得在长对话或长文档中进行模型行为分析变得切实可行。
• 提升可解释性实用性：总体而言，Turn-Averaged SAEs 使得基于 SAE 的可解释性技术能够真正应用于长上下文长度的模型分析中，填补了现有技术在长文本场景下的空白。

意义与影响

Turn-Averaged SAEs 的提出标志着模型可解释性研究从“短文本/单句”向“长上下文/多轮对话”场景迈出了关键一步。

1. 推动长上下文可解释性落地：随着 LLM 的上下文窗口不断扩展（如 128k、1M tokens），传统的逐 token 分析工具已无法满足需求。Turn-Averaged SAEs 提供了一种高效的降维和抽象手段，使得研究人员能够以合理的计算成本分析长文档或长对话中的模型行为。
2. 优化归因分析效率：在安全对齐、错误诊断等需要精细归因的场景中，该方法能够生成更简洁、更具语义连贯性的归因图，帮助工程师快速定位问题根源，而无需被海量的 token 级噪声所淹没。
3. 深化对模型内部表征的理解：通过证明平均激活能更好地捕捉高级特征，该研究暗示了模型在处理长文本时，可能更倾向于以“轮次”或“语义块”为单位进行信息整合，而非单纯依赖 token 级的局部关联。这为理解 LLM 的注意力机制和表征学习提供了新的视角。

总之，Turn-Averaged SAEs 不仅是一个技术改进，更是将可解释性 AI（XAI）从实验室理论推向工业界长上下文应用实践的重要桥梁。