扩散语言模型重复生成问题：单方向自反馈吸引子导致困惑度失真

背景

连续扩散语言模型（Continuous Diffusion Language Models）近年来在生成困惑度（generative perplexity，Gen-PPL）指标上取得了突破性记录。这些模型的代表作如 ELF 在生成困惑度上报告了极低的分数。然而，在实际生成效果观察中发现，这些模型在生成文本时存在显著的重复问题：生成的文本远比人类撰写的自然文本重复得多。生成困惑度指标对这种重复惩罚不足，反而奖励重复，因此低困惑度分数可能夸大了模型实际质量。

为验证这一现象，研究人员对模型进行了“去重复”处理：去除重复后，ELF-B 模型的生成困惑度从 19.5 飙升至 27.7。即使是最小的模型在去重复后仍能取得最佳生成困惑度分数，因为它重复次数最多。研究进一步追踪到问题的根源：这种重复源于自-conditioning 反馈回路中沿单一方向的收缩吸引子（contractive attractor）。该回路在每一步将干净估计输入到下一步。

由于问题是一维的，解决方案也只需一维维度；研究提出了一种名为 ACE（Attractor-Contrast-Escape）的修复方法：每步从反馈中减去该单一、无标签方向。ACE 方法仅在 105M 模型上估算一次方向，之后即可用于更大数据量模型（342M 和 652M）以及多种采样器，重复效果接近人类水平且保持质量竞争力。该方法同样适用于其他架构，并能恢复有用方向。

此外，研究指出生成困惑度本身奖励重复，因此不再依赖困惑度指标，而改为评估修复方案生产人类干净文本所需的计算量。ACE 方法在计算效率上比现有方案便宜 1.5–5 倍。

核心内容

连续扩散语言模型在生成困惑度（Gen-PPL）上取得记录低分：ELF 等模型报告极低分数，但生成文本存在大量重复问题，与人类文本明显不同。生成困惑度指标对重复不仅不惩罚，反而奖励，导致低分数可能夸大模型质量。

为证明这一点，研究对模型进行去重复处理。去除重复后，ELF-B 模型的生成困惑度从 19.5 上升到 27.7。这表明原始低困惑度分数被重复严重扭曲。甚至最小模型在去重复后仍取得最佳生成困惑度，因为它重复次数最多。

研究进一步分析重复来源：自-conditioning 反馈回路存在一个沿单一切向的收缩吸引子。该回路将每一步的干净估计反馈到下一步，导致模型在该方向上过度收缩，生成重复文本。

问题为一维，因此一维解决方案即可解决。提出 ACE（Attractor-Contrast-Escape）方法：每步从自-conditioning 反馈中减去该单一、无标签方向。

ACE 方法在 105M 模型上估算方向一次后，转移至 342M 和 652M 模型以及各种采样器，重复次数降至近人类水平，同时保持质量竞争力。同一配方也能在其他架构上恢复有用方向。

由于生成困惑度奖励重复，研究改用评估修复方案生产人类干净文本所需的计算量。ACE 方法在这一指标上 1.5–5 倍更便宜。

关键要点

• 连续扩散 LM 的低 Gen-PPL 受重复严重夸大，重复远超人类文本。
• Gen-PPL 对重复奖励而非惩罚，去重复后 perplexity 显著上升（ELF-B 从 19.5 升至 27.7）。
• 重复源于自-conditioning 反馈回路中单一方向的收缩吸引子。
• ACE 方法每步从反馈中减去该一维方向，仅在 105M 模型上估算一次即可泛化到更大模型与多种采样器。
• ACE 使重复降至人类水平，质量保持竞争力，且在其他架构上有效。
• 因 Gen-PPL 奖励重复，改用计算量指标评估，ACE 比现有方案便宜 1.5–5 倍。

意义与影响

该研究揭示了连续扩散语言模型在生成困惑度指标下的内在缺陷：低 perplexity 实际上反映了模型倾向于重复而非生成高质量、连贯文本。这对于持续扩散 LM 领域具有重要警示意义，提醒研究者不能仅依赖 Gen-PPL 等表面指标评估模型能力，而应同时关注生成文本的实际质量（如重复率与多样性）。

ACE 方法作为简单有效的解决方案，证明一维问题只需一维修复即可解决，体现了神经网络在高维空间中存在明显结构缺陷（单一吸引子）的潜力。该方法无需额外训练，仅通过简单向量减法即可实现，计算效率极高（1.5–5 倍优势），且在多个规模模型和采样器上通用，为后续研究提供了实用范式。

更广泛而言，该工作推动语言模型评价体系的反思：在追求极致 perplexity 时应警惕“有效惩罚不足”的现象，避免低质量模型被高分误导。ACE 的跨模型、跨采样器转移性也为构建更可靠的语言模型提供了可复用的技术路径，对持续扩散语言模型的开发、优化与应用具有深远指导意义。