内部多元主义揭示成对比较偏好学习局限

背景

在参与式设计、AI 对齐等场景中，研究者常通过局部成对比较（local pairwise comparisons）来了解人们希望决策规则如何运作。这种方法的核心假设有两层：第一，局部的比较结果足以反映一个人对自动决策规则的整体偏好；第二，被询问者总能对这些比较给出明确、果断的回答。然而，这些假设在“内部多元主义”（Internal Pluralism）——个体同时持有多个有权威性的、关于规则应当如何运作的优先级（priorities）——面前可能失效。本文来自 arXiv cs.AI（2026 年 7 月提交），正式提出一种形式化模型来刻画这种多元偏好，并揭示强制进行成对比较时可能出现的系统性失败。

核心内容

论文首先定义了内部多元主义下的偏好结构：个体对决策规则的评估并非基于单一效用函数，而是同时遵循多个相互独立、各有其正当性的优先级。这些优先级可能涉及全局性原则（如比例性、平等主义、平等对待），也可能是在局部可表征的原则。作者建立了一个形式模型，将个体的多元偏好表示为优先级集（set of priorities）以及每个优先级对决策规则的赋值函数，最终通过某种聚合（例如加权或字典序）得到整体判断。

接着，论文指出强制局部成对比较数据会导致两类截然不同的失败：

1. 全局性优先级的不可局部化：某些优先级（如比例性或平等主义）天然具有全局性——一个案例中它们要求什么，往往取决于其他案例中发生了什么。例如，“平等对待”要求在相同情况下给出相同结果，但局部比较只提供单个（或少量）情境下的行为选择，无法体现这种跨案例的条件约束。因此，即使个体持有清晰的全局优先级，仅凭局部比较也会遗漏这些优先级，导致学习到的偏好失真。

2. 内部冲突的产生与行为扭曲：即使在那些可以局部表征的优先级之间，如果个体同时坚持两个强烈且局部冲突的优先级（例如“尽可能公平”与“尽可能高效”），在被迫进行二选一比较时，个体可能陷入内部分歧。这种分歧会表现为不一致的选择、随机性、甚至为回避冲突而选择实际上最不偏好的选项。作者用形式模型证明了这种“被迫选择”下的行为扭曲可能代价高昂——不仅增加学习所需的数据量，还使得学到的偏好模型无法真实反映个体的深层价值观。

论文进而利用模型分析了另一种方案：允许受访者报告“犹豫”（indecision）。通过引入一个“不知道”或“无法决定”选项，模型能够区分“个体有明确但冲突的优先级”与“个体没有充分证据”。实验性的计算结果表明，允许犹豫可以显著减少学习准确偏好所需的查询次数——因为系统能避免在冲突区域强行收集低质量数据，转而聚焦于能有效区分优先级的比较。

最后，论文指出其模型为更直接的偏好学习方法指明了方向：不是通过大量局部成对比较来间接推断，而是直接询问人们所持有的优先级及其相对重要性。这样能够给出更忠实、更具可解释性的人类价值观描述。

关键要点

• 内部多元主义意味着个体对决策规则的偏好由多个有权威性的优先级组成，不是单一效用函数可以捕捉的。
• 局部成对比较依赖两个强假设：局部信息足以反映整体偏好，且个体总能给出确定答案。内部多元主义同时挑战了这两个假设。
• 第一类失败：比例性、平等主义等优先级具有全局性，其含义依赖于其他案例的表现，局部比较无法捕获。
• 第二类失败：即使优先级可以局部表征，冲突的优先级在强制比较中会导致不一致、随机选择或回避行为，从而产生高代价的行为扭曲。
• 允许受访者报告“犹豫”可以有效减少学习准确偏好所需的查询次数，因为它避免了在冲突区域采集低质量数据。
• 论文建议直接获取优先级（而非强迫作局部比较），可以产生更忠实、更可解释的价值观模型。

意义与影响

本文在偏好学习与 AI 对齐两个领域具有重要的理论意义。它质疑了当前广泛使用的“成对比较 + 单一效用函数”范式在人类价值观多样性面前的有效性，提供了第一个形式化框架来刻画内部多元性如何破坏局部比较的可靠性。实际应用中，该研究提醒实践者：在参与式设计、模型反馈收集、RLHF（基于人类反馈的强化学习）等场景中，如果只依赖二选一问卷，可能会系统性地遗漏那些依赖全局原则的价值观，并因内部冲突而扭曲真实偏好。允许受访者表达不确定、提供多级选项，并改用直接询问优先级的方法，不仅能提高数据效率，还能让得到的偏好模型更接近人的真实内心判断。论文最后指向的研究路线——直接从优先级层面进行偏好学习——有望为构建更富有解释性、更公平的 AI 对齐系统提供新基础。