相干性最大化：提升多元对齐（Pluralistic Alignment）的新路径

背景

随着大型语言模型（LLM）能力的飞速提升，如何让 AI 系统与多样化的人类价值观保持一致（即“对齐”，Alignment），已成为人工智能安全与治理领域的核心挑战。传统的对齐方法往往依赖于大量经过人工标注的高质量数据，例如通过人类反馈强化学习（RLHF）来训练奖励模型。然而，这种高度依赖人类监督的方式不仅成本高昂，而且难以覆盖人类价值观中极其复杂和多元的侧面。

特别是在面对“多元对齐”这一目标时——即模型需要能够识别并尊重不同群体、不同文化背景下的特定价值观——生成具有代表性的具体示例（concrete examples）变得尤为困难。现有的技术瓶颈在于：如何在没有大量人类专家介入的情况下，自动生成那些能够有效引导模型朝向特定群体价值观的示例？

在此背景下，一项发表于 arXiv（cs.CL，2026年6月2日提交）的研究提出了一种新的思路。该研究不再单纯依赖人工标注的准确性，而是引入了“内部相干性最大化”（Internal Coherence Maximization, ICM）的概念，旨在通过挖掘预训练模型内部已有的知识结构，以无监督的方式生成 persona-specific（特定角色/人格）的示例，从而实现对齐效果的显著提升。

核心内容

本研究深入探讨了什么样的示例能使 AI 对齐更加有效。研究团队提出并验证了一种名为“内部相干性最大化”（ICM）的方法。ICM 的核心逻辑是通过最大化标签之间的相互可预测性（mutual predictability）来推断标签。简单来说，就是利用模型内部的知识关联，自动生成那些在逻辑上高度自洽、相互印证的示例，以此来引导模型学习特定群体的价值观，而无需人工监督。

研究团队在四个涵盖分类、偏好判断和开放式生成的基准测试（benchmarks）中评估了 ICM 的效果。主要发现包括：

1. ICM 生成的示例性能媲美黄金标签： 通过 ICM 推断出的上下文学习（in-context learning）示例，在多个任务上的表现与人工标注的“黄金标签”（gold labels）相当。这意味着，利用模型自身的相干性生成的示例，足以替代部分昂贵的人工标注工作。

2. 相干性比单一标签准确率更重要： 这是本研究最关键的洞察。研究指出，相干性（coherence）的价值超越了单个标签的准确率。即使在保持标签准确率恒定的情况下，那些内部逻辑更连贯、相互支持度更高的示例，其泛化能力（generalization）也显著优于那些虽然准确但缺乏内在逻辑联系的“不相干”示例。这表明，示例之间的结构一致性对于模型理解价值观至关重要。

3. 针对预训练数据中代表性不足的角色进行定向反馈： 对于那些在预训练数据中代表性不足（underrepresented）的角色或群体，研究提出了一种高效的反馈策略：与其随机标注大量问题，不如让领域专家仅针对模型对某角色价值观“最不确定”的问题进行人工反馈。结果显示，这种定向的、少量的反馈所带来的泛化提升，优于在任意问题上标注相同数量标签的效果。

关键要点

• 无监督示例生成：利用内部相干性最大化（ICM）技术，可以在无需人工监督的情况下，自动生成针对特定角色（persona）的价值观示例。
• 相干性即效能：示例的内部逻辑一致性（相干性）是提升模型泛化能力的关键设计原则，其重要性甚至超过单个示例的标注准确率。
• 高效利用人类反馈：对于数据稀疏的群体，应优先对模型置信度低的问题进行人工标注，这种“精准打击”式的反馈比随机标注更具性价比。
• 利用预训练先验知识：该方法的核心在于利用预训练语言模型中已经编码的多样化人类视角，通过相干性最大化将其转化为具体的对齐信号。
• 跨任务有效性：ICM 方法在分类、偏好判断和开放式生成等多种任务类型中均表现出有效性，证明了其通用性。

意义与影响

这项研究为可扩展的价值规范（scalable value specification）提供了一个关键的设计原则：相干性。

首先，它降低了实现多元对齐的门槛。通过证明无需大量人工监督即可生成高质量的价值观示例，ICM 为大规模、低成本地让 AI 适应不同文化、亚文化或特定群体的价值观提供了技术路径。这对于解决 AI 偏见、增强 AI 的包容性具有重要意义。

其次，它重新定义了“高质量数据”的标准。传统观点往往关注数据的标注准确率，而本研究强调数据内部的逻辑结构和相互印证关系。这提示未来的 AI 训练和微调工作，应更加重视数据集中的相干性构建，而不仅仅是数据的数量或单一标签的正确性。

最后，该研究为“少样本”或“零样本”对齐提供了新的思路。通过利用预训练模型中隐含的丰富人类知识，并结合定向的人类反馈，我们可以在资源有限的情况下，更有效地引导模型理解和学习复杂的人类价值观体系。这不仅适用于学术界的模型对齐研究，也对工业界开发更具人文关怀和适应性的 AI 产品具有直接的指导意义。