PLURAL：面向全球价值观对齐的数据集
速览
PLURAL是基于92国IVS调查的大规模价值偏好数据集，通过两阶段生成管道将调查响应转化为偏好三元组，保留价值观信号。初始版本覆盖20个国家，约50万样本。评估显示，训练PLURAL可改善模型与目标国家文化的对齐，减少误差27.7%，并在多国盲评中被认为更具代表性。该数据集为多元化AI对齐提供了可扩展资源。
AI 深度解读
背景
大型语言模型（LLMs）已被部署到全球各地，但它们所编码的价值体系却严重偏向西方视角，导致在代表不同文化背景下的多样性价值观时表现不佳。现有的对齐数据集多以英文为中心，未能捕捉全球范围内的价值差异。为填补这一空白，研究团队提出了 PLURAL——一个大规模、以价值观为中心的偏好数据集，旨在为多文化对齐（pluralistic alignment）提供可扩展的资源。
核心内容
PLURAL 数据集的构建基于“综合价值观调查”（Integrated Values Survey, IVS）——一项覆盖 92 个国家的全国代表性调查。研究团队采用两阶段生成流程（two-stage generation pipeline），将调查问卷中的原始回应转化为合成的偏好三元组（preference triplets），从而在保留原始规范价值信号的同时，生成具有现实感的情境。
目前发布的初始版本 PLURAL 包含约 50 万个偏好三元组，代表来自 20 个不同国家的受访者。每个三元组由三个部分组成：一个提示（prompt）、一个更符合该国主流价值观的回答（chosen）以及一个不太符合的回答（rejected）。这些三元组可直接用于对 LLM 进行偏好对齐训练（如通过 DPO 或 RLHF）。
研究团队从三个维度对 PLURAL 进行了评估：
- 数据集层面验证：确认 PLURAL 能够保留 IVS 原始调查中跨国的价值差异以及国家内部的价值观多样性。
- 自动评估：使用 PLURAL 训练后的模型在目标国家的文化画像上对齐效果更佳，相较于强基线模型，平均绝对误差（MAE）最多降低 27.7%。
- 盲测人工评估：邀请 176 位来自印度、巴西和日本的评估者，在不知情条件下评判模型生成的回答。结果显示，经 PLURAL 对齐的模型输出被认为更代表其本国价值观。
综合结果表明，PLURAL 包含了可学习的价值引导信号，为多元价值观对齐提供了规模化资源。数据集已公开提供，具体链接见原文。
关键要点
- PLURAL 是一个基于 92 国 IVS 调查数据、聚焦价值观偏好的大规模数据集。
- 使用两阶段生成流程将调查回应转化为 50 万条偏好三元组，覆盖 20 个多样化国家。
- 数据集层面验证成功保留了跨国和国内的价值多样性。
- 自动评估显示，PLURAL 训练可将对齐目标的平均绝对误差降低 27.7%。
- 在印度、巴西、日本三国的盲测人工评估中，PLURAL 对齐后的回答被评价为更代表本国价值观。
- 数据集完全开源，可直接用于 DPO、RLHF 等偏好对齐方法。
意义与影响
PLURAL 的提出对于 LLM 的全球部署与价值对齐具有里程碑意义。它首次将大规模的跨文化调查数据引入偏好学习流程，使得模型不再仅反映单一文化（尤其是西方）的价值观，而是能够适应不同国家和地区的价值体系。这有助于减少 AI 系统在不同文化语境中产生冒犯性或不符合当地伦理的回答的风险。
此外，PLURAL 的构建方法（两阶段生成流程）可被推广到其他需要将结构化调查数据转化为训练信号的研究中，为“多元对齐”（pluralistic alignment）提供了可复用的范式。未来，随着数据集覆盖的国家数量从 20 个扩展到全部 92 个，PLURAL 有望成为全球价值对齐研究的基石。