Wait, am I Being Fair? Characterizing Deductive Stereotyping and Mitigating It with Fair-GCG

背景

随着大语言模型（LLMs）在各类任务中的广泛部署，其决策与生成内容的公平性成为了至关重要的研究课题。近年来，链式思考（Chain-of-Thought）等推理技术的引入，通常被认为能够提升模型的公平性，因为推理过程促使模型更深入地审视问题。然而，推理并不总是公平的“万灵药”，模型在推理过程中依然会暴露出系统性的偏见。在此背景下，研究人员开始深入探究推理过程中导致偏见的具体机制，并寻求在推理阶段进行干预的轻量化解决方案。

核心内容

本文针对当前大语言模型在推理过程中依然存在的公平性问题，识别出了一种特定的失败模式，并提出了相应的干预框架与自动化发现方法。

1. 发现“演绎刻板印象”失败模式 尽管推理通常能改善 LLMs 的公平性，但本文发现了一种名为“演绎刻板印象”的失败模式。在这种模式下，模型会将群体层面的统计规律（如某些人群在特定职业中的占比）强行套用在个体案例上。这种推断在逻辑上是连贯的，甚至看似合理，但却产生了带有社会偏见的结论。例如，模型可能基于统计相关性，在推理中认定某个个体必然符合其所属群体的刻板印象。

2. 统计学解释 研究为该现象提供了统计学层面的解释，揭示了模型为何会在演绎推理中产生这种看似合理实则偏见的推断，本质上是对群体先验概率的错误个体化应用。

3. 推理时注入框架 为了引导模型走向公平感知的推理，研究者提出了一种推理时注入框架。该框架不需要对模型进行重新训练或微调，而是在模型推理的过程中注入特定的提示或信息，以修正其推理路径。

4. 提出 Fair-GCG 方法 为了系统性地寻找最有效的注入短语，本文引入了 Fair-GCG。该方法能够自动化地发现那些在引导模型公平推理方面效果最优的注入短语。

5. 实验效果与泛化能力 实验证明，由 Fair-GCG 发现的注入短语具有显著的效果和广泛的适用性：

• 多基准提升：在多个公平性基准测试中提升了模型表现。
• 跨模型泛化：从较小 LLM 发现的注入短语，能够成功泛化并应用于更大的 LLM。
• 提升推理公平性：有效提升了推理层面的公平性。
• 减少生成偏见：降低了开放式生成任务中的偏见。
• 现实迁移：能够迁移至现实世界中的公平敏感任务，具备实际应用价值。

(注：原文摘要包含警告，指出论文中包含有毒和冒犯性陈述，这是为了研究所需而展示的模型失败案例。)

关键要点

• 揭示深层偏见机制：识别出“演绎刻板印象”这一失败模式，模型将群体统计规律错误应用于个体，产生逻辑自洽但社会偏见的推断。
• 提供统计学视角：为该偏见现象提供了统计学解释，深化了对 LLM 公平性缺陷的理解。
• 轻量级干预方案：提出推理时注入框架，无需重训练或微调即可在推理阶段引导模型公平思考。
• 自动化发现工具：引入 Fair-GCG，系统性地自动化发现最优的公平性注入短语。
• 强大的泛化与迁移能力：注入短语具备从小模型到大模型的跨模型泛化能力，且能有效迁移至现实世界的公平敏感任务