概念图谱对齐：T2I扩散模型偏见缓解新方法
速览
CO-ALIGN是一种基于概念图谱对齐的偏见缓解方法，通过在文本编码器和去噪器内部对齐概念，显著减少T2I扩散模型的偏见。相比现有技术，该方法在公平性上提升30%，图像质量FID改善11.4，图像保真度提升2.8%，同时语义不连贯输出减少88%。此外，CO-ALIGN还能增强概念遗忘的鲁棒性，适用于多种下游任务。
AI 深度解读
背景
文本到图像（Text-to-Image, T2I）扩散模型在生成高质量图像方面表现出色，但往往继承了训练数据中固有的有害偏差（bias），例如性别、种族或文化上的刻板印象。现有的偏差缓解技术通常只能对文本编码器（text encoder）进行干预，或在推理阶段提供引导（inference-time guidance），但这些方法容易导致生成的图像在语义上变得不连贯（semantically incoherent outputs）。为了克服这些局限，需要一种既能有效减少偏差又能保持生成完整性的新方法。
核心内容
本文提出了一种名为 CO-ALIGN（Concept Ontology Alignment，概念本体对齐）的偏差缓解方法。该方法基于概念图对齐（concept-graph alignment） 的思想，直接作用于模型内部的概念本体（concept ontology）。具体来说，CO-ALIGN 在文本编码器和去噪器（denoiser）两个内部模块中对概念进行对齐，从而实现大幅度的偏差削减，同时不牺牲生成的语义完整性。
作者通过三种对齐范式验证了概念图对齐的有效性：
- 文本编码器本体对齐：仅对齐文本编码器内部的概念图。
- 去噪器本体对齐：仅对齐去噪器内部的概念图。
- 联合文本-去噪器本体对齐：同时对两个模块进行对齐。
实验结果表明，CO-ALIGN 在所有三种范式中均优于现有最先进方法：
- 公平性（fairness）提升 30%；
- 图像质量（通过 FID 衡量）改善 ΔFID = 11.4；
- 图像保真度（image fidelity）提升 2.8%；
- 语义不连贯输出减少 88%。
此外，CO-ALIGN 在其它下游任务上也表现出积极效果。实验显示，更好的内部本体对齐还能增强概念遗忘（concept unlearning）的鲁棒性，即在使用多种概念遗忘技术时，模型更难意外生成被禁止的概念。
关键要点
- 问题：传统偏差缓解方法（如仅干预文本编码器或推理时引导）容易导致生成结果语义不连贯。
- 方法：CO-ALIGN 通过概念图对齐，在模型内部（文本编码器和去噪器）对齐概念本体，实现偏差缓解。
- 对齐范式：三种形式——文本编码器对齐、去噪器对齐、联合对齐。
- 核心指标提升：
- 公平性提升 30%
- 图像质量（FID）改善 11.4
- 图像保真度提升 2.8%
- 语义不连贯输出减少 88%
- 额外收益：内部本体对齐还能增强概念遗忘的鲁棒性，有助于模型安全删除特定概念。
意义与影响
- 学术价值：CO-ALIGN 提出了一种全新的偏差缓解思路——从模型内部概念本体层面进行对齐，而非仅仅在输入端或输出端干预。这一框架为理解扩散模型内部表征和偏差传播机制提供了新视角。
- 实际应用：在图像生成领域，如果能够在不牺牲图像质量和语义连贯性的前提下大幅降低偏差，将极大提升 T2I 模型在公平性敏感场景（如招聘广告、医疗图像、教育内容生成）中的可用性。
- 下游扩展：对概念遗忘的促进作用意味着 CO-ALIGN 可同时服务于模型安全性（如移除不当内容）和公平性，实现一石二鸟的效果。
- 方法论启示：概念图对齐可能不仅适用于扩散模型，未来也可推广至其他生成式 AI（如视频生成、多模态模型）以减少社会偏见，具有跨领域的启发意义。