大模型“是-否”偏见源于答案顺序与措辞，非道德判断变化
速览
这篇论文引入交叉对称化方法，系统分离大语言模型在二元道德判断中由逻辑、词汇和顺序因素引起的偏差。结果显示，前沿模型如GPT-5.5、Gemini的道德立场几乎格式不变，但Claude模型存在显著的“否”词汇和最后选项顺序偏向，且该偏差可通过扩展推理减弱。将“是-否”替换为任意标签后逻辑偏差消失，证明模型被表层词汇而非语义逻辑牵引。最后提出最小模型总结此类人为偏差，强调测量模型价值观须交叉变换提问框架。
AI 深度解读
背景
大型语言模型（LLM）越来越多地被用于生成二元形式的判断（如“是/否”），尤其在道德困境中，模型输出的“是”或“否”常被解读为对某个行为的道德裁决。然而，越来越多的研究发现，这些看似明确的判断会随着逻辑上无关的措辞变化而发生显著偏移——例如，在是/否问题中，仅改变答选项的顺序或替换个别词汇，模型的回答就可能截然不同。这种“是-否偏差”在人类中并不明显，但在LLM中却被放大。现有研究的一个关键困境是：单一框架无法分离这种偏移的本质——在“是/否”问题中，“否”这个词同时扮演了三个角色：逻辑上的否定裁决、词汇层面的标记（token）以及最后打印的选项。因此，要理解LLM的判断是否真的反映其道德立场，还是仅仅受限于格式，需要一种系统的方法来隔离这些因素。
核心内容
该论文引入了一套心理测量学测试组（a psychometric battery），核心方法是交叉对称化（crossed symmetrization）：将每一个逻辑上无关的变量（如答选项顺序、措辞）以平衡配对的方式翻转，从而构建一组逻辑等价但形式不同的问题形式。通过在一个道德困境语料库上应用各种问题形式，并让模型在逻辑等价的不同形式下进行分级评分（graded rating），可以恢复出一个连贯的内部道德尺度。
实验对象包括多个前沿模型（如Claude系列、GPT-5.5、Gemini）以及小规模开源模型。主要发现：
-
内部道德尺度几乎格式不变：对于前沿模型，其道德立场 θ 在不同问题形式之间保持高度一致，跨形式的不一致性（cross-form incoherence）在±1轴上仅为0.12–0.21。这意味着模型实际上拥有一个稳定的道德判断基础，并不随措辞随意变化。小规模开源模型则表现出模型特有的失败模式。
-
是/否格式叠加了可分解的伪影：当强制模型以“是/否”二元格式输出时，会叠加两种偏差：
- 顺序偏差（order bias）：倾向于选择最后一个打印的选项（与人类经典的首因效应相反，人类通常偏向第一个选项）。
- 词汇偏差（lexical bias）：倾向于选择“no”这个词本身。
- 这两种偏差在所有模型中并不均匀：Claude系列模型表现出显著的偏差（故事平均的偏差幅度在-0.32到-0.86之间），而GPT-5.5和Gemini的偏差接近于0。此外，扩展推理（extended reasoning）（例如要求模型逐步思考）可以缩小这些偏差。
-
词汇偏差的本质是表面词而非逻辑否定：在token层面上，“no”这个词和逻辑否定裁决共享同一个token。通过将“是/否”替换为任意标签（如“A/B”），可以分离词汇和逻辑。结果发现，每个前沿模型对逻辑否定裁决的偏差（verdict-attached logical bias）都接近于0——即模型并不倾向于拒绝或否定；相反，偏差跟随的是打印在表面的词“no”及其顺序，而不是它所携带的逻辑含义。换言之，模型不是被“拒绝”这一概念吸引，而是被“no”这个文本标记吸引。
-
最小模型：为了量化这些伪影，论文提出了一个简约模型：
( P = \sigma((\theta \pm m)/s) )
其中，( \theta ) 是模型的道德立场，( m ) 是框架敏感度（即对特定格式的附加偏差），( s ) 是道德决断力（即判断的陡峭程度）。该模型可测量并区分于采样温度（sampling temperature）的影响。 -
通用性：该测试组可以不加修改地应用于任何道德困境集和任何二元格式。测量一个模型的价值观，必须交叉变换问题的框架，而非仅仅问一次。
关键要点
- 引入交叉对称化方法，系统分离了LLM在“是/否”判断中的顺序偏差和词汇偏差，解决了传统单次提问无法区分逻辑、词汇和顺序影响的问题。
- 前沿模型（如Claude、GPT-5.5、Gemini）在逻辑等价的不同问题形式下，其内部的道德尺度（θ）高度一致，跨形式不一致性仅为0.12–0.21，表明模型并非缺乏稳定的道德判断。
- 二元格式叠加的伪影在Claude系列模型中尤为显著（故事平均偏差-0.32到-0.86），而GPT-5.5和Gemini的偏差接近0，且扩展推理可缩小这些偏差。
- 词汇偏差并非源于逻辑上的“拒绝”倾向，而是对表面词“no”的吸引；当用任意标签替换“是/否”后，逻辑否定偏差消失，而顺序偏差和标签特定偏差仍存在。
- 提出最小模型 ( P = \sigma((\theta \pm m)/s) )，用框架敏感度 ( m ) 和道德决断力 ( s ) 量化伪影，且与采样温度独立。
- 评估LLM的道德判断时，必须采用交叉框架（crossing the frames of the question），而非单次提问，否则会误将格式伪影当作道德立场变化。
意义与影响
该研究为LLM道德判断的评估提供了方法论上的重要突破。它揭示了现有文献中报告的“措辞敏感”现象并非模型真正缺乏道德一致性，而是被二元格式的伪影所掩盖。通过分离顺序偏差和词汇偏差，该工作澄清了以往争论的焦点：模型在道德判断上实际上具有相当的格式不变性，而偏差主要来自表面文本的呈现方式，而非逻辑理解的错误。
这一发现对AI伦理评估、对齐测试以及产品设计有直接指导意义。例如，在涉及道德判断的LLM应用（如法律咨询、医疗伦理决策）中，不应仅依赖单次“是/否”提问，而应通过多种等价形式的交叉验证来获得稳健的道德立场。此外，该研究提出的最小模型为量化不同模型的“框架敏感性”提供了一个标准工具，可以用于比较不同模型（或同一模型在不同推理设置下）的稳健性。
最后，