D2PO动态偏好优化扩散采样器

D2PO: Optimizing Diffusion Samplers via Dynamic Preference

背景

扩散模型在生成高质量图像、音频和视频方面取得了显著成功，但其采样过程通常需要大量函数评估（NFE，Number of Function Evaluations）才能达到高保真度。为了加速推理，研究者提出了学生‑教师回归框架：用一个低NFE的学生采样器去模仿高NFE教师采样器的输出。然而，这类方法存在根本性缺陷——学生模型往往只能保留全局结构，却牺牲了高频纹理细节，导致生成结果与人类感知质量不匹配。同时，采样策略中的时间步调度（timestep schedule）和分类器无关引导（CFG，Classifier-Free Guidance）权重对最终质量影响巨大，但传统方法难以联合优化这些超参数。针对这一挑战，本文提出了一种新的优化框架D2PO，将采样器优化重新定义为基于偏好的对齐问题，并引入动态偏好机制，使采样器在逐步学习过程中不断自我改进。

核心内容

D2PO（Dynamic Direct Preference Optimization）是一个用于优化扩散采样策略的原则性框架，它同时优化采样时间步调度和CFG权重。其核心思想在于：不再让学生采样器去硬性模仿教师输出，而是通过偏好对齐来直接优化采样策略，使其与人类感知质量更加一致。

具体而言，D2PO做了以下三方面创新：

1. 将采样策略建模为基于能量的模型（EBM）
   为了将Direct Preference Optimization（DPO）框架应用于扩散采样器，作者将采样策略（即根据当前时间步和噪声状态决定下一步扩散过程的行为）视为一个能量模型。这样一来，偏好比较（例如，人更喜欢样本A而不是样本B）就可以转化为可计算的能量差值，从而利用DPO的优化目标进行训练。

2. 从预训练分数网络直接推导能量函数
   作者提出了一种新颖的能量公式，该公式直接来源于预训练扩散模型的分数网络（score network）。这个能量函数能够在扰动空间中对偏好进行评估，同时捕捉结构一致性和细粒度细节。这意味着，在计算偏好时，不需要依赖额外的奖励模型或人工标注，而是利用已有的预训练模型本身来提供感知质量信号。

3. 引入动态偏好（Dynamic Preference）
   传统偏好对齐方法通常使用固定的教师生成偏好样本（例如，用高NFE教师生成的样本作为“更优”样本）。D2PO则采用动态偏好：随着采样策略的逐步学习，用于对齐的偏好样本也会随之改进。这种自我改进机制取代了静态的、僵化的教师监督，代之以迭代式的、偏好引导的精细调整过程，从而提供越来越强的对齐信号。

实验部分，作者在多个扩散模型（如Stable Diffusion等）上进行了低NFE条件下的评估，结果显示D2PO对齐的采样器在感知质量上显著优于传统的基于回归的调度器，能够更忠实于高质量教师的能力，并充分释放其潜力。

关键要点

• 问题本质：现有学生‑教师回归框架导致低NFE采样器丢失高频纹理，无法与感知质量对齐。
• 核心方法：将采样器优化视为偏好对齐问题，利用DPO框架，并引入EBM建模使DPO适用。
• 能量函数来源：直接从预训练分数网络推导能量，无需额外训练奖励模型。
• 动态偏好机制：偏好样本随采样策略学习而持续改进，形成自我强化的迭代优化。
• 联合优化：同时优化时间步调度和CFG权重，而非仅优化其中一个。
• 实验效果：在低NFE限制下，D2PO对齐的采样器比传统回归调度器在感知质量上更优，且忠实于高质量教师的能力。

意义与影响

D2PO为扩散采样器的优化提供了一种新的范式：从“模仿得分”转向“偏好对齐”。这一转变不仅解决了学生‑教师回归中高频细节丢失的固有问题，还使得采样策略的优化更贴近人类感知。动态偏好机制的引入，更是让模型能够自我迭代，避免了静态教师带来的上限依赖。此外，该框架具有通用性，可应用于任意扩散模型，有望在图像生成、视频生成、音频合成等需要快速采样的场景中显著提升质量。论文还展示了D2PO在低NFE（如1‑4步）下的出色表现，这对实际部署（如实时生成、移动端推理）具有重要意义。未来，该方向可能进一步扩展到更复杂的偏好来源（如多模态反馈）和更高效的在线优化策略。