The One-Word Census: Answer-Choice Conformity Across 44 Language Models

背景

在语言模型的能力评测中，一个常见做法是让模型从大量同样合理的选项中选出唯一答案。但当选项空间无限制时（例如「随便说一个单词」），不同模型的选择会趋同吗？趋同的程度有多大？这种趋同背后的结构特征是什么？来自 arXiv cs.CL 的论文《The One-Word Census: Answer-Choice Conformity Across 44 Language Models》设计了一套极简的实验工具—— One-Word Census（单词普查）——系统测量了 44 个语言模型在开放式单字问答中的答案一致性，并揭示了模型之间「趋同」与「趋异」的量化规律。

核心内容

研究者构建了一个包含 31 个单轮提示的测试集，每个提示指定一个具有大量有效答案的类别，例如「Name a tree.」（请说一种树）。每个模型对每个提示独立回答 4 次，不设置任何系统提示（system prompt），只记录生成的第一个单词（去除大小写、标点等标准化 token 后进行精确匹配）。整个测试对每个模型的花费约为 1 美元。

关键发现：当要求模型「pick a word – any word」（随便选一个单词）时，44 个模型中有 41% 的回答选择了同一个单词——serendipity。这种极端的趋同现象并非个例：在 31 个类别中，有 7 个类别出现了单一答案占比超过 80% 的情况。

研究者定义了一个核心指标——答案选择惊异度（answer-choice surprisal）：对于每个模型，计算其每个回答在所有其他模型（留一法）回答集合下的平均 $-\log_2$ 概率。惊异度越高表示该模型的回答越「出人意料」，即偏离主流。

结果揭示出清晰的层次结构：

• 个体化与社区调优模型（persona- and community-tuned models） 的惊异度最高，即最特立独行。
• 最新一代的主线旗舰模型（mainline flagships） 的惊异度最低，几乎从不产出其他模型从未给出的答案——它们极度「顺从」。
• 观察四个模型家族（Claude、GPT、Qwen、Grok）的代际演化，每一代新模型通常比上一代更趋同，但 Claude 和 GPT 的最新旗舰型号出现了逆转：最新一代的趋同度反而低于前一代。研究者认为这可能是顶级模型重新定位的早期信号。

为验证指标的鲁棒性，研究者进行了留一族交叉验证（leave-one-family-out），各模型惊异度的排名与完整排名之间的 Spearman 秩相关系数高达 0.985。

最后，将模型集体表现与人类词汇联想规范（human category-production norms）对比：在两者共有的 20 个类别中，模型的答案集中度（concentration）高于人类的类别有 18 个。所有提示、完整对话记录和代码均已公开。

关键要点

• 极简实验设计：31 个单轮提示，每个问 4 次，无系统提示，只保留标准化后的第一个单词，仅用精确匹配分析，不依赖嵌入或外部裁判模型。
• 趋同极端性：在「随便选一个单词」任务中，serendipity 被 44 个模型中的 41% 选择；7/31 的类别有单一答案占比超 80%。
• 惊异度指标：用留一法计算每个模型回答相对于全体模型回答集合的信息量，衡量其偏离主流程度。
• 模型类型差异：个性化和社区调优模型最发散；最新主线旗舰最收敛，几乎不产生独特回答。
• 代际趋势：在 Claude、GPT、Qwen、Grok 四个系列中，每代新模型通常更趋同，但最新 Claude 和 GPT 旗舰出现反转，可能暗示战略调整。
• 排名稳定性：留一族交叉验证的秩相关系数 0.985，说明排名几乎不受具体模型集合影响。
• 人机对比：在 20 个与人类规范共有的类别中，模型的答案集中度在 18 个类别上高于人类，表明模型整体上比人类更「墨守成规」。

意义与影响

这篇论文的价值不在于验证模型会趋同（这已被广泛报道），而在于提供了一个极简、可复现、低成本的标准化工具——One-Word Census——来量化趋同的结构。研究者没有使用复杂的嵌入或评测模型，仅靠精确匹配和留一法惊异度就获得了清晰的、鲁棒的排名，这对于评测社区具有方法论上的示范意义。

更重要的是，该研究揭示了模型「顺从性」（conformity）与「发散性」（divergence）的可测量差异，并且发现这种差异并非随机，而是与模型类型、代际和家族策略高度相关。例如，最新旗舰模型出现趋同度逆转，暗示开发者可能有意在最新版本中增加了多样性，以提升创造力或减少同质化偏见。这种信息对于模型选择、训练策略调整以及下游应用中对答案多样性的需求（如头脑风暴、创意生成）具有直接指导意义。

此外，模型在开放式词汇选择上比人类更集中的发现，呼应了当前对大语言模型「刻板印象」和「多样性匮乏」的担忧。One-Word Census 可作为一个轻量级探针，持续监测模型在极简约束下的行为变化，为追踪模型能力演化提供新的维度。