← 返回信息流
技术博客arXiv cs.AI·2 小时前

反事实公平图像分类器不保证群体公平

原标题：Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study

速览

该研究通过高质量图像编辑方法构建新数据集，同时评估反事实公平和群体公平。实验表明在图像分类中，反事实公平并不意味着群体公平，这与表格数据结论相反。理论分析指出，潜在属性与敏感属性高度相关是原因。研究者提出反事实知识蒸馏（CKD）作为简单基线，有效减少对敏感相关属性的依赖。

AI 深度解读

背景

算法公平性（algorithmic fairness）是机器学习领域的重要议题，研究者从多个公平性维度展开探索，包括反事实公平（Counterfactual Fairness, CF）和群体公平（Group Fairness, GF）。反事实公平要求模型在给定个体的反事实样本（即改变敏感属性后的相同个体）时输出一致的预测；而群体公平通常要求模型在不同敏感属性群体之间保持统计上的均等（如 equal opportunity 或 demographic parity）。然而，CF 与 GF 之间的确切关系尚不明确，尤其是在图像分类任务中。主要原因是：要评估 CF，需要获得关于敏感属性的反事实样本（例如，同一个人的照片但具有不同的第二性征），而现有图像数据集中通常无法直接收集这样的样本。此前基于表格数据集的研究观察到 CF 模型往往也能满足 GF，但这一结论是否适用于图像分类尚未得到验证。

核心内容

本文研究了图像分类中反事实公平与群体公平之间的关系，并提出了一个简单基线方法以缓解两者间的矛盾。具体贡献包括：

  1. 构建用于评估 CF 的图像数据集：利用高质量图像编辑方法（如生成式模型）对现有群体公平基准数据集中的图像进行反事实编辑，生成同一人但改变敏感属性（如性别）的图像，并由人工标注员仔细验证。由此得到两个新数据集——\oursceleb 和 \ourslfw，它们分别基于流行的图像 GF 基准（如 CelebA 和 LFW）。由于这些数据集同时具备原始标签（用于评估 GF）和反事实样本（用于评估 CF），因此可以在同一任务上同时评估两种公平性。

  2. 实证发现：CF 不蕴含 GF：在 \oursceleb 和 \ourslfw 上训练并评估多个图像分类器（包括标准训练和公平性导向的训练方法），结果表明，达到反事实公平的模型并不能自动满足群体公平。这一结论与以往在表格数据集上的观察相反（表格数据中 CF 往往能带来 GF）。

  3. 理论解释：潜在属性 G 的存在：作者从理论上证明，上述矛盾可能源于存在一个与敏感属性相关但不被其因果决定的潜在属性 ( G )。例如，第二性征（敏感属性）与头发长度（( G )）高度相关：女性通常头发更长，但头发长度并非由性别因果决定。当模型依赖 ( G ) 进行预测时，即使模型在反事实层面公平（即对同一个人改变性别后输出不变），但由于 ( G ) 与敏感属性存在统计关联，不同群体间的预测分布仍可能不公平。因此 CF 不能保证 GF。

  4. 提出反事实知识蒸馏（Counterfactual Knowledge Distillation, CKD）：为了缓解模型对 ( G ) 的依赖，作者设计了一个简单基线方法。CKD 的核心思想是：训练一个“教师”模型，该模型在反事实样本上学习不依赖于敏感属性的表征；然后通过知识蒸馏将这种不依赖 ( G ) 的归纳偏差传递给学生模型。具体实现中，教师模型使用反事实数据（即原始样本与对应的反事实样本对）进行训练，强制其输出对两者一致；学生模型则通过蒸馏学习这种一致性，同时保持原始任务性能。

  5. 实验结果：在 \oursceleb 和 \ourslfw 上，结合 CKD 训练的模型在达到反事实公平的同时，也显著提升了群体公平指标（如 equal opportunity 差值的降低）。这表明，如果成功减少模型对潜在属性 ( G ) 的依赖，反事实公平的模型可以满足群体公平。

关键要点

  • 反事实公平（CF）与群体公平（GF）在图像分类中存在矛盾：实验表明，CF 并不蕴含 GF，这与表格数据上的已知结论相反。
  • 矛盾的根源是潜在属性 ( G )：( G ) 是与敏感属性相关但不被其因果决定的属性（如头发长度与性别），模型若依赖 ( G ) 做预测，就会在 CF 公平但 GF 不公平。
  • 新数据集 \oursceleb 和 \ourslfw：通过图像编辑和人工标注构建，同时支持 CF 和 GF 的评估，填补了图像领域缺乏反事实样本的空白。
  • 反事实知识蒸馏（CKD）：一种简单有效的方法，通过迫使教师模型在反事实对上输出一致，并蒸馏给学生，从而减少对 ( G ) 的依赖。
  • CKD 能同时改善 CF 和 GF：在实验中，使用 CKD 的模型在保持反事实公平的同时，群体公平指标（如 equal opportunity gap）显著下降，验证了理论假设。

意义与影响

  • 理论贡献：首次在图像分类任务中系统揭示 CF 与 GF 的不等价性，并提供了因果解释（潜在属性 ( G ) 的混淆效应），弥补了之前仅关注表格数据的理论缺口。
  • 实践价值：为图像公平性研究提供了标准化的评估工具（\oursceleb 和 \ourslfw），使研究者能够同时衡量两种公平性，避免单一指标带来的误导。
  • 方法启发：CKD 作为轻量级基线，不依赖复杂的 adversarial 训练或因果建模，易于集成到现有训练流程中，为实际应用（如人脸识别、医疗图像诊断）中平衡 CF 和 GF 提供了可行思路。
  • 未来方向：作者指出，更精细地建模 ( G ) 的因果结构（如通过因果图）可能进一步改进公平性；此外，CKD 的有效性依赖于高质量的反事实编辑，如何降低对人工标注的依赖也是值得探索的方向。

相关推荐

查看原文 →arxiv.org