Polar：评估大语言模型政治偏见的基准测试

背景

随着大型语言模型（LLMs）在社会各个领域的广泛应用，其内在的政治偏见问题日益受到关注。然而，目前对于 LLM 政治偏见的测量面临两大核心挑战：一是难以在不同政治语境下实现可复现的评估；二是缺乏能够跨越不同语言和文化背景的标准化测试框架。现有的评估方法往往依赖于基于提示词（prompt-based）的生成式输出，这种方式容易受到模型生成随机性、提示词工程差异以及主观解读的影响，导致结果难以横向对比。

在此背景下，研究人员提出了一种新的评估范式，旨在通过更客观、结构化的方式量化 LLM 的政治倾向，并考察其在不同国家和语言环境下的表现差异。

核心内容

本文介绍了 Polar，这是一个专门用于评估大语言模型政治偏见的全新基准测试（Benchmark）。Polar 包含 4,026 个实例，采用多项选择题的形式，通过计算选项层面的似然概率（option-level likelihoods）而非依赖提示词生成文本来衡量政治偏见。

1. 数据集构建与维度

Polar 的数据构建基于 Manifesto Project（ manifesto 项目，一个广泛使用的政党纲领量化数据库），涵盖了两个意识形态轴线和八个议题类别。这种设计确保了评估内容具有坚实的政治学理论基础，而非随意选取的社会热点。

2. 跨语境评估框架

Polar 的创新之处在于其并行评估能力，它同时针对 美国（U.S.） 和 韩国（South Korea） 两个截然不同的政治语境对模型进行测试。这种设计使得研究者能够观察同一模型在不同政治光谱和文化背景下的表现差异。

3. 实验规模与发现

研究团队在 38 个大语言模型上进行了评估，主要发现如下：

• 系统性偏差：测量出的偏见程度随着政治语境、议题类别、模型组别以及呈现语言的不同而呈现系统性变化。
• 美国语境下的左倾倾向：在所有测试模型中，面对美国政治内容时，模型普遍表现出向左翼进步主义（left-progressive）倾斜的趋势。
• 韩国语境下的混合模式：相比之下，在面对韩国政治内容时，模型表现出更多居中且模式混杂的特征，未呈现出像美国语境下那样一致的单向偏倚。
• 语言对偏见的调节作用：通过翻译实验发现，仅仅改变呈现语言（presentation language）本身就会导致测量出的偏见发生显著变化。这一发现表明，语言不仅是信息的载体，其本身也携带了影响模型判断的文化或意识形态权重。

关键要点

• 评估方法革新：Polar 摒弃了传统的基于生成的评估方式，转而使用多项选择题的选项似然概率，提高了评估的可复现性和客观性。
• 多维度覆盖：基于 Manifesto Project 构建，涵盖 2 个意识形态轴线和 8 个议题类别，确保评估内容的全面性和学术严谨性。
• 跨文化对比：首次并行评估美国与韩国政治语境，揭示了模型在不同政治生态下的差异化表现。
• 普遍存在的左倾偏差：在美国政治语境下，38 个主流 LLM 均显示出向左翼进步主义倾斜的系统性偏见。
• 语言即变量：实验证明，仅改变输入语言即可改变模型的偏见测量结果，提示语言本身在偏见形成中扮演重要角色。
• 语境依赖性：模型的政治偏见并非固定不变，而是高度依赖于具体的政治语境和议题类别。

意义与影响

Polar 基准的提出对 LLM 的安全对齐、公平性研究以及多语言 AI 开发具有重要的指导意义。

首先，它揭示了当前主流大语言模型在政治立场上的系统性偏差，特别是针对美国政治内容的左倾倾向，这为开发者理解模型潜在的社会影响提供了量化依据。其次，Polar 强调了跨语境和跨语言评估的必要性。由于模型在不同国家和语言下的表现差异巨大，单一的英语评估无法全面反映模型的真实行为。

最后，研究结果呼吁 AI 社区重视“语言”作为偏见载体的作用。这意味着在构建多语言模型时，不能简单地将英语模型的偏见通过翻译映射到其他语言中，而需要针对特定语言和文化语境进行独立的评估和微调。Polar 为后续建立更公平、更包容的全球 AI 系统提供了一个标准化的评估工具和理论框架。