VoidPadding：让 [VOID] 处理填充，使 [EOS] 专注于语义终止

背景

掩码扩散语言模型（Masked Diffusion Language Models, MDLMs）是一种新兴的文本生成范式。与传统的自回归（Autoregressive）模型逐词生成不同，MDLMs 通过去噪一个预先分配的、包含掩码标记（Masked tokens）的响应画布（Response canvas）来生成文本。这种机制使得响应长度建模（Response-length modeling）成为指令微调（Instruction tuning）中的核心环节。

在现有的 MDLMs 实践中，许多模型沿用了自回归模型中的惯例：在指令微调期间，使用重复的 <EOS>（End of Sequence，序列结束）标记作为填充（Padding）标记。这导致 <EOS> 标记承担了双重角色：

1. 语义终止符：表示句子或逻辑块的真正结束。
2. 填充标记：用于补齐预分配画布的剩余空间。

这种“双重角色”的设计在推理阶段，特别是在使用大块解码（Large-block decoding）策略时，暴露出了严重的问题。当模型需要生成比预分配画布更长的文本时，或者在解码过程中出现长度预测偏差时，<EOS> 标记会发生“溢出”（Overflow），导致生成质量下降或解码效率降低。

核心内容

为了解决上述问题，研究团队提出了 VoidPadding 方法。该方法的核心思想是将“填充”与“语义终止”这两个功能解耦，具体通过引入新的标记 <VOID> 来实现。

1. 标记角色的解耦

• <VOID> 标记：专门用于处理填充。在训练和推理过程中，<VOID> 信号被学习用于指导响应画布的自适应扩展（Adaptive response canvas expansion）。它不再具有任何语义含义，仅作为占位符存在。
• <EOS> 标记：被保留专门用于语义终止。通过移除其填充功能，<EOS> 能够更纯粹地学习表示文本或逻辑块的真正结束。在推理阶段，学习到的 <EOS> 信号使得模型能够更早地停止生成（Early stopping），从而提高效率。

2. 工作机制

在 VoidPadding 框架下，模型不再依赖 <EOS> 来填充空白区域。当模型检测到需要扩展响应长度时，它会利用 <VOID> 信号来动态调整画布大小，而不是试图通过额外的 <EOS> 来“假装”结束或填充。这种机制允许模型更灵活地处理不同长度的响应，同时保持语义终止的准确性。

3. 实验验证

研究团队在 Dream-7B-Instruct 模型上验证了 VoidPadding 的有效性。实验涵盖了数学推理和代码生成等基准测试任务。

• 性能提升：与原始模型相比，VoidPadding 使四个任务的大块大小平均均值提升了 +17.84 分。
• 对比优势：与现有的 RainbowPadding 方法相比，VoidPadding 提升了 +6.95 分。
• 效率优化：VoidPadding 平均减少了 55.7% 的解码非函数评估次数（NFE, Number of Function Evaluations），显著提高了推理速度。

关键要点

• 问题根源：现有 MDLMs 中 <EOS> 兼具“语义终止”和“填充”双重角色，是导致大块解码时 <EOS> 溢出的根本原因。
• 解决方案：提出 VoidPadding 方法，引入 <VOID> 标记专门处理填充，将 <EOS> 专用于语义终止。
• 推理优化：
  • 学习到的 <EOS> 信号支持早期停止（Early stopping）。
  • 学习到的 <VOID> 信号支持响应画布的自适应扩展。
• 性能成果：
  • 在 Dream-7B-Instruct 上，数学推理和代码生成任务的大块大小平均均值提升 +17.84 分（vs. 原始模型）。
  • 相比 RainbowPadding 提升 +6.95 分。
  • 解码 NFE 平均减少 55.7%。
• 代码开源：相关代码已公开。

意义与影响

VoidPadding 的提出对掩码扩散语言模型的发展具有重要意义：

1. 解决长度建模瓶颈：通过解耦填充与终止功能，VoidPadding 有效缓解了 MDLMs 在响应长度建模上的固有难题，特别是在处理长文本或动态长度响应时表现更佳。
2. 提升推理效率：减少 55.7% 的 NFE 意味着更快的生成速度和更低的计算成本，这对于大规模部署 MDLMs 至关重要。
3. 改进生成质量：通过让 <EOS> 专注于语义终止，模型能够更准确地判断文本结束时机，减少因填充标记混淆导致的生成错误。
4. 推动 MDLMs 实用化：该方法为 MDLMs 在数学推理、代码生成等对长度和准确性要求较高的任务中的应用提供了更可靠的解决方案，有助于推动扩散模型在自然语言处理领域的进一步落地。

总之，VoidPadding 通过简单的标记角色重构，显著提升了 MDLMs 的性能和效率，为后续研究提供了新的思路。