Self-Generated Error Training for Token Editing in Diffusion Language Models：深度解读

背景

在大型语言模型（LLM）的推理过程中，Token-to-Token（T2T）编辑技术旨在通过扩散解码（block-diffusion decoding）机制，对模型已经确定的 token 进行修正。以 LLaDA2.1 为例，其发布了一套训练配方，用于训练这种 T2T 编辑器。然而，该训练配方主要依赖于对随机词汇表进行破坏（random vocabulary corruptions）来生成训练数据。

这里存在一个显著的“训练-推理不匹配”（training-inference mismatch）问题：在训练阶段，编辑器面对的是人为制造的、随机的词汇错误；但在实际推理（inference）阶段，编辑器面对的是模型自身生成的、流畅且高置信度的草稿错误。这种分布差异可能导致编辑器在真实场景下的纠错能力受限。

核心内容

为了解决上述训练与推理之间的分布偏差，研究人员提出了一种名为 Self-Generated T2T（自生成 T2T）的新方法。该方法的核心思想是让模型在训练过程中“自己制造错误”，从而缩小训练数据与推理场景之间的差距。

具体实现流程如下：

1. 无梯度草稿生成（No-gradient draft pass）：首先进行一轮前向传播，生成初始的 token 草稿，此过程不涉及梯度更新。
2. 掩码位置填充：在生成的草稿中，将部分位置掩码（masked），并使用模型预测的 token 进行填充，从而构建出自生成的错误样本。
3. 监督恢复（Supervised recovery）：在第二轮传播中，利用这些自生成的错误作为输入，监督模型恢复出正确的 token。

在实验实现上，研究团队在 LLaDA2.1-mini 模型上执行了一个短期的 LoRA 持续预训练（continued-pretraining）步骤，以更新编辑器参数。评估过程严格遵循官方的 Q-Mode T2T 程序，且保持推理参数不变，以确保对比的公平性。

关键要点

• 解决分布偏移：通过引入自生成的错误样本，有效缓解了训练时使用的“随机词汇破坏”与推理时遇到的“模型自身流畅错误”之间的分布差异。
• 双阶段训练机制：
  • 第一阶段：无梯度生成草稿，模拟推理时的错误分布。
  • 第二阶段：基于自生成错误进行监督学习，提升纠错能力。
• 高效微调：仅在 LLaDA2.1-mini 上使用短期 LoRA 进行持续预训练，计算成本可控，且无需改变现有的推理流程参数。
• 性能提升：在多个基准测试中，该方法在保持准确率提升的同时，降低了 T2T 编辑的强度（edit intensity）。
• 缓解特定失败模式：
  • 最终数字转录错误：在模型推理过程正确但最后一步出现数字转录错误的情况下，该方法能更有效地进行修正。
  • 过度自我修正：在简短的事实性回答前，减少了模型不必要的、过度的自我修正行为，提高了回答的简洁性和准确性。

意义与影响

这项研究揭示了当前扩散语言模型中 T2T 编辑技术的一个关键痛点：训练数据的真实性与推理场景的匹配度。传统的随机破坏策略虽然简单，但未能模拟模型在真实推理中产生的错误模式。

Self-Generated Error Training 的提出，为优化扩散语言模型的纠错能力提供了一条更贴合实际的路径。它表明，通过让模型“自我对抗”或“自我修正”，可以更有效地捕捉其内在的错误分布，从而提升最终输出的质量。

对于 LLaDA 系列模型及其他采用类似扩散解码机制的模型而言，这一方法具有重要的参考价值。它不仅提升了模型在复杂推理任务中的鲁棒性（如避免数字转录错误），还优化了生成效率（减少过度修正），为构建更可靠、更高效的生成式 AI 系统提供了新的技术思路。