← 返回信息流
AI 资讯Hacker News·2 小时前

研究揭示Claude价值观跨模型语言差异

原标题:Societal Impacts: Claude's values across models and languages

速览

该研究探讨了Claude在不同模型版本和语言环境下的价值观一致性。研究发现,模型存在价值观差异,可能影响社会公平性。这引发了关于AI伦理和部署风险的讨论,提示需关注模型价值观对齐问题。

AI 深度解读

背景

随着大型语言模型在日常对话中的广泛应用,模型在回答主观性问题时所体现的价值观成为一个重要的研究议题。Anthropic 的研究团队此前通过分析 70 万条匿名 Claude.ai 对话,识别出 Claude 在回应中表达了超过 3000 种不同的价值观。然而,如此庞大的价值观列表难以直接分析和推理。为了系统性地理解 Claude 价值观的表达模式,研究人员开发了一种降维方法,将数千种价值观压缩为几个关键轴,从而能够量化模型在不同上下文中的价值观倾向。

核心内容

本研究聚焦于 Claude 的价值观如何在两个维度上变化:不同模型版本之间,以及不同语言之间。研究团队首先基于此前"Values in the Wild"研究识别的 3307 个价值观,通过人工聚类合并为 339 个高层级价值观。随后,利用隐私保护分析工具,从 Claude.ai 上抽取了 309,815 条用户提出主观任务(如职业选择、人际冲突等无标准答案问题)的对话样本。样本均匀覆盖三个模型(Sonnet 4.6、Opus 4.6、Opus 4.7)以及 Claude.ai 上最常用的 20 种语言,每个模型-语言组合约 5000 条对话。对于每条对话,工具使用 Claude 标记每个高层级价值观是否存在,同时记录用户表达的价值观以及对话的任务和主题。最后应用降维技术,将标签压缩为四个主要轴,每个轴代表一组对立的价值倾向:

  • 顺从 vs. 谨慎:模型倾向于满足用户需求,还是防范潜在风险与伤害。
  • 温暖 vs. 严谨:模型倾向于表达积极关怀,还是强调准确与精确。
  • 深度 vs. 简洁:模型倾向于深入解释,还是仅完成所要求的任务。
  • 坦诚 vs. 执行:模型倾向于坦承自身不确定性,还是给出更完善自信的回答。

为了确保测量的是 Claude 表达的价值观而非用户提问或表达方式的差异,研究控制了对话的任务、主题和用户表达的价值观。

模型间的价值观差异:分析了三个模型在各轴上的平均位置后发现,差异虽小但结构清晰。Sonnet 4.6 被认为特别温暖,在温暖-严谨轴上偏向温暖;Opus 4.7 以严谨著称,更偏向严谨,同时在顺从-谨慎轴上也更偏向谨慎(防范滥用)。这些定量结果与主观感知高度吻合。

语言间的价值观差异:Claude 在英语中表达的价值观与葡萄牙语、印尼语或中文中存在明显差异。其中在温暖-严谨轴上差异最大:阿拉伯语和印地语中 Claude 倾向于更多表达温暖相关价值观,而英语和俄语中则更多表达严谨相关价值观。这一发现表明语言和文化背景对模型价值观表达有系统性影响。

关键要点

  • 研究构建了四个价值观轴(顺从-谨慎、温暖-严谨、深度-简洁、坦诚-执行),可解释 Claude 价值观变化的 15% 变异(注:原文称“capture 15% of the variation”)。
  • 这些轴通过降维技术从 3307 个具体价值观中提炼而来,使得大规模价值观比较变得可行。
  • 不同 Claude 模型呈现出可区分的价值观轮廓:Sonnet 4.6 更偏向顺从与温暖,Opus 4.7 更偏向严谨与谨慎。
  • 语言环境对 Claude 价值观表达有显著影响,温暖-严谨轴上的跨语言差异最大,英语和俄语更严谨,阿拉伯语和印地语更温暖。
  • 该方法为连接模型训练决策与价值观变化提供了量化工具,也为理解文化背景如何影响模型行为奠定了基础。

意义与影响

这项研究提供了一种系统、可重复的方法来实证评估语言模型所表达的价值观,并揭示了这些价值观如何随模型版本和语言环境而变化。其意义在于:

  • 可解释性与透明度:将数千种价值观压缩为少量关键轴,使研究人员和公众能够更直观地理解模型的价值倾向,而无需面对复杂的价值观列表。
  • 指导模型开发:通过量化不同模型之间的价值观差异,开发者可以将模型的性格训练与特定价值观轴上的变化联系起来,从而更精准地调整模型行为。
  • 跨文化公平性:发现 Claude 在不同语言中表达不同价值观(尤其是温暖-严谨维度),引发了对多语言服务中价值观一致性和文化适应性的讨论。这对于全球部署的 AI 系统尤为重要,需要确保不同语言用户获得公平、合适的体验。
  • 未来研究方向:该方法可进一步用于研究行为训练、文化背景等因素如何影响模型价值观,并为构建更具包容性和伦理意识的 AI 系统提供实证基础。此外,研究还指出需要更好地理解为何价值观在模型和语言间会偏移,从而改进测试和校准流程。
查看原文 →anthropic.com