Output Vector Editing for Memorization Mitigation in Large Language Models

背景

大型语言模型（LLMs）在训练过程中不仅学习语言的统计规律，还会不可避免地“记忆”并复现训练数据中的特定序列。这种现象引发了严重的隐私泄露、版权纠纷以及安全风险。例如，模型可能会直接输出训练集中存在的个人身份信息、受版权保护的内容或敏感数据。

为了解决这一问题，现有的研究主要集中在“神经元级”的干预方法上。传统的做法通常将“编辑”等同于将特定神经元的激活值（activations）置零。然而，这种理解存在局限性：激活值仅控制神经元是否“参与”计算，而真正写入残差流（residual stream）并通过叠加编码多个特征的是神经元的输出向量（output vector）。

基于这一认知偏差，研究人员提出了一种新的干预策略：输出向量编辑（Output Vector Editing）。该方法旨在通过更精细的权重调整，在不改变神经元激活状态的前提下，直接修改其输出贡献，从而有效缓解模型的记忆问题。

核心内容

1. 方法论：输出向量编辑

研究团队提出了一种基于约束优化的权重编辑技术，称为“输出向量编辑”。其核心逻辑如下：

• 定位目标神经元：首先定位负责生成特定记忆序列（memorized continuation）的一小部分多层感知机（MLP）神经元。
• 最小化修改：对这些神经元的输出向量进行最小化修改。
• 引入干扰项：修改的目标是在词汇空间（vocabulary space）中引入一个“干扰项”（distractor）。
• 重定向残差流：通过引入干扰项，重定向这些神经元对残差流的贡献，从而改变模型的输出倾向，同时保持神经元的激活值（activations）不变。

这种方法与传统的“零消融”（zero ablation，即直接关闭神经元）形成对比，旨在更精准地切断记忆路径，同时保留模型的其他功能。

2. 实验设置与数据挖掘

为了验证该方法的有效性，研究团队在四个不同规模的模型上进行了评估：

• SmolLM-360M
• OLMo-1B
• OLMo-7B
• Llama2-7B

其中，OLMo-7B 被选为核心评估对象，因为其开源权重和预训练语料使得系统性地挖掘记忆序列成为可能。团队从 OLMo-7B 中挖掘出了 6,831 条被记忆的训练序列，并在此基础上测试了编辑效果。

3. 主要结果

• 抑制效果显著：输出向量编辑实现了高达 87.9% 的记忆抑制率。
• 优于零消融：与在同一组定位神经元上进行零消融（zero ablation）相比，输出向量编辑的效果高出 2.7倍。这一差距证明了抑制效果的提升主要来自于对输出向量的编辑，而非仅仅依赖于神经元的定位。
• 四种编辑模式：研究定义了四种编辑模式，涵盖了从“激进抑制”到“最小重定向”的光谱。
  • 集成效果：当结合使用这四种模式时，能够覆盖 96.5% 的记忆序列。
  • 单模式推荐：推荐的单一模式配置在实现 81.5% 抑制率的同时，未出现灾难性的局部性故障（catastrophic locality failures），即没有严重损害模型的其他通用能力。

4. 机制边界与注意力机制的作用

研究进一步识别出了仅依靠 MLP 编辑无法触及的机制边界：

• MLP 编辑的局限性：约 14% 的记忆序列无法通过仅编辑 MLP 层来消除。
• 注意力机制的角色：虽然这些失败案例整体上并非由注意力机制驱动，但通过消融（ablate）贡献最大的注意力头（attention heads），可以恢复 60%--64% 的抑制效果。
• 特定场景下的注意力作用：对于从前缀（prefix）复制 token 的续写场景，注意力机制的恢复效果更强。这表明注意力机制应被视为一种互补的回退机制（complementary fallback），而非主要的记忆驱动机制。

5. 跨模型泛化能力

• 模式转移性：编辑模式的排序以及“成功率-局部性”权衡（success-locality trade-off）在四个测试模型之间具有可转移性。
• 规模依赖性：编辑的成功率随模型参数规模的增加而提升，而不是取决于模型所属的架构家族（family）。

关键要点

• 修正认知偏差：现有的神经元级干预方法错误地将编辑等同于激活值置零；实际上，输出向量才是写入残差流并编码特征的关键载体。
• 技术原理：输出向量编辑是一种约束优化权重编辑，通过最小化修改 MLP 神经元的输出向量，在词汇空间引入干扰项，从而重定向残差流贡献，且保持激活值不变。
• 高效抑制：在 OLMo-7B 挖掘的 6,831 条记忆序列中，该方法实现了最高 87.9% 的抑制率，效果是传统零消融方法的 2.7 倍。
• 平衡性能与安全性：推荐的单一编辑模式可在实现 81.5% 抑制率的同时，避免灾难性的局部性故障，证明该方法在安全性与模型通用性之间取得了良好平衡。
• 注意力机制的互补性：约 14% 的记忆无法仅通过 MLP 编辑消除，但通过结合注意力头的消融，可额外恢复 60%-64% 的效果，特别是在处理前缀复制 token 的场景中。
• 泛化规律：编辑策略的有效性跨模型（从 360M 到 7B 参数）转移，且成功率与模型规模正相关，与模型家族无关。

意义与影响

这项研究为大型语言模型的记忆缓解（Memorization Mitigation）提供了更精细的机械解释和更有效的工程解决方案。

1. 理论贡献：它纠正了社区内关于“神经元编辑”机制的误解，明确了输出向量在特征编码和残差流更新中的核心作用，推动了可解释性 AI（XAI）在模型干预方面的深入发展。
2. 实用价值：通过提供一种高抑制率且低副作用（无灾难性局部故障）的编辑方法，该技术有助于降低 LLM 在部署过程中面临的隐私和版权风险，特别是在处理开源模型（如 OLMo 系列）时，为数据清洗和安全加固提供了新的工具。
3. 架构启示：研究指出注意力机制在特定记忆类型（如 token 复制）中的互补作用，提示未来的安全干预策略可能需要 MLP 编辑与注意力干预相结合，以实现更全面的风险覆盖。
4. 可扩展性：编辑策略随模型规模缩放的特性，表明该方法具有良好的前景，可应用于更大规模的模型，为未来千亿级参数模型的安全对齐提供潜在的技术路径。