COFT：大语言模型中公平思维链的对抗性共形解码

背景

大型语言模型（LLMs）在生成“思维链”（Chain-of-Thought, CoT）推理过程时，不仅可能揭示社会偏见，还往往会放大这些偏见。当模型在推理步骤中引入敏感属性（如性别、种族、年龄等）时，其生成的逻辑链条可能会受到这些属性的不当影响，导致结果不公。

现有的缓解偏见方法通常依赖于重新训练模型、使用辅助分类器或访问模型权重，这些方法往往计算成本高昂且实施复杂。此外，许多方法缺乏严格的统计保证，难以确保在去偏过程中不会严重损害模型的任务效用或语言质量。因此，业界急需一种无需训练、轻量级且能提供严格有效性保证的解码时控制方法。

核心内容

本文提出了 COFT（Chain of Fair Thought，公平思维链），这是一种无需训练的解码方法，旨在通过解码时的令牌级公平性控制，为任何冻结的因果语言模型提供分布无关的边缘有效性保证（在可交换性假设下）。

COFT 的工作流程分为三个核心阶段：

1. 构建掩码反事实提示（Masked Counterfactual Prompt）： 首先，系统识别提示词中的敏感片段，并将其替换为中性令牌，从而创建一个“掩码”后的反事实提示。这一步旨在隔离敏感属性对模型推理的潜在影响。

2. 轻量级 Logit 融合以衰减偏见： 其次，COFT 比较“事实”（原始）提示与“掩码”提示产生的 Logit 分布。通过一种轻量级的 Logit 融合机制，模型能够衰减由属性驱动的偏见，使生成过程更加中立。

3. 双分支分裂共形校准（Dual-branch Split-Conformal Calibration）： 最后，利用双分支分裂共形校准技术，在用户指定的风险水平下，对每一步的候选令牌集进行认证。这种方法为每一步的决策提供了严格的统计保证，确保在控制偏见风险的同时，维持推理的可靠性。

在评估方面，研究者在六种不同的模型和多个偏见基准测试上对 COFT 进行了验证。结果表明，该方法在保持任务效用和语言质量不变的前提下，将标准偏见指标降低了 30-55%（中位数为 38%）。推理准确率在运行间的噪声范围内保持不变，未出现显著下降。

在计算效率方面，COFT 的开销适中，仅相当于一次额外的缓存前向传播（计算量增加不超过 11%）。该方法无需重新训练、无需辅助分类器，也无需访问模型权重，为更安全的 CoT 生成提供了一条清晰、可审计的路径。

关键要点

• 无需训练的解码控制：COFT 是一种部署时（decode-time）方法，适用于任何冻结的因果语言模型，无需修改模型权重或进行额外的预训练/微调。
• 严格的统计保证：基于共形预测理论，COFT 提供了分布无关的边缘有效性保证（假设数据可交换），能够在用户指定的风险水平下控制偏见。
• 三阶段处理机制：
  1. 通过替换敏感令牌生成反事实提示。
  2. 通过 Logit 融合对比事实与反事实分布，削弱属性偏见。
  3. 通过共形校准认证每步的候选令牌集。
• 显著的偏见降低效果：在多个基准测试中，标准偏见指标平均降低 30-55%，中位数降低 38%。
• 效用无损：在大幅降低偏见的同时，保持了原有的任务效用和语言质量，推理准确率未发生显著变化。
• 低计算开销：计算成本仅增加约 11%，相当于一次额外的缓存前向传播，具备较高的工程可行性。
• 透明且可审计：由于不依赖黑盒的重新训练或外部分类器，COFT 提供了一条清晰、可审计的去偏路径。

意义与影响

COFT 的提出为大语言模型在高风险推理场景下的公平性问题提供了一种高效且严谨的解决方案。其核心价值在于平衡了“公平性”、“效用”与“效率”三者之间的关系：

1. 降低部署门槛：由于无需访问模型权重或进行重新训练，COFT 可以直接应用于现有的商业或开源 LLM 服务，极大地降低了企业实施公平性控制的门槛。
2. 增强可信度：引入共形校准技术，使得去偏过程不再是经验性的启发式调整，而是具有严格数学证明的统计保证，增强了 AI 系统的可解释性和可信度。
3. 保护推理能力：许多去偏方法以牺牲模型智能或准确性为代价，而 COFT 证明了在不损害推理准确率的前提下实现显著去偏是可行的，这对于依赖复杂逻辑推理的 AI 应用至关重要。
4. 推动 AI 伦理标准化：COFT 提供的方法论为 AI 伦理中的公平性指标量化和控制提供了新的技术范式，有助于推动行业建立更标准化的公平性评估与缓解流程。

综上所述，COFT 不仅是一项技术创新，更是迈向更安全、更公平的大语言模型应用的重要一步，特别是在医疗、法律、金融等对公平性要求极高的领域具有广阔的应用前景。