人口统计提示越多，大模型越难与人类一致

背景

随着大型语言模型（LLM）被广泛用于替代或辅助人工标注，如何通过提示（prompting）控制模型输出以更好地对齐人类判断成为关键挑战。一种常见的做法是在提示中附带标注者的人口统计属性（如年龄、性别、地域等），期望模型能据此模仿不同人群的标注倾向。然而，这种“人口统计提示”（demographic prompting）的效果尚未被系统评估——添加更多属性是否总是带来更好的对齐？不同属性对模型的影响机制有何差异？本文通过在五个任务上系统改变提示中人口统计属性的数量与组成，首次对这一策略进行大规模定量分析，揭示了属性过拟合、信号质量与模型可操控性之间的复杂关系。

核心内容

该研究基于五个开放源代码的LLM（具体模型未在摘要中列出），在五个文本标注任务上开展实验。核心方法是：对每个任务，构造包含不同人口统计属性组合的提示，覆盖从单一属性到全部属性（full-attribute set）的所有组合，然后比较模型预测与真实人类标注的一致性（alignment）。主要发现可归纳为三点：

1. 对齐存在最优属性数量：当提示中包含一到三个高信号属性（high-signal attributes）时，LLM与人类标注的一致性达到峰值；而当采用完整属性集时，一致性显著下降。这揭示了一个清晰的“超规格阈值”（over-specification threshold），说明盲目添加更多属性反而损害对齐效果。

2. 人口统计对人工标注的总体影响不能预测哪些属性能改善对齐：每个属性在人类标注数据中的影响幅度（即该属性与标注结果的关联强度）并不直接对应它提升LLM对齐的能力。实际上，需要联合考虑两个因素：一是该属性标注信号的可学习性（learnability），即LLM能否从训练数据中有效习得该属性与标注的关联；二是信号的方向一致性（directional coherence），即属性在不同上下文中是否指向稳定的标注偏好。只有兼具可学习性与方向一致性的属性，才能有效引导模型对齐。

3. 神经元探针（neuron probing）发现激活模式与对齐增益的关联：通过分析模型内部神经元的激活状态，研究者发现，专门化的激活（specialized activation）仅在属性信号具有方向一致性时才与对齐增益相关。更重要的是，激活的总体体积（activation volume）并不能单独预测模型是否会被该属性“引导”——即激活量大小不等于可操控性（steerability）。这表明模型内部表征的可利用性高度依赖于信号本身的规律性。

综合以上结果，论文得出结论：人口统计提示并非一种统一的干预手段；其效用高度依赖于上下文，受属性信号质量、任务特性和模型架构的共同塑造。

关键要点

• 人口统计属性的数量存在最佳范围：1～3个高信号属性可最大化LLM与人类标注的一致性，超过该阈值（如使用全部属性）反而导致对齐下降。
• 属性对人工标注的影响力（effect size）不是选择提示属性的可靠指标；需额外评估该属性在LLM中的“可学习性”和“方向一致性”。
• 神经元探针表明，即便模型内部有对应属性的激活表示，也不保证该激活能有效引导模型输出；只有方向一致且可学习的信号才能产生可操作的对齐增益。
• 任务类型和模型架构同样影响提示效果，因此同一组人口统计属性在不同任务或模型上可能表现迥异。
• 该研究强调了提示工程中“少即是多”的可能性，并提供了定量阈值（1–3个属性）作为实践参考。

意义与影响

该研究对LLM在敏感标注任务（如情感分析、内容审核、社会偏见检测）中的实际部署具有直接指导意义。首先，它挑战了“提示中属性越多越准确”的直觉，提示从业者应避免过度指定人口统计信息，转而聚焦于少数高信号且方向一致的属性。其次，它引入了一套评估框架（可学习性+方向一致性），可用于预筛选哪些人口统计属性值得纳入提示，而不仅仅是依赖人工标注中的统计显著性。最后，神经元探针的分析方法为理解模型内部表征的可操控性提供了新视角，提示未来的对齐研究需更关注信号的结构化特征而非单纯的激活强度。

从更宏观的视角看，该工作揭示了LLM与人类注解读取之间的非对称性：模型并非被动吸收所有提示信息，而是有选择性地利用那些与其内部表征兼容的信号。这一发现对可解释性、公平性以及模型对齐策略的设计均有启发——未来或需发展更精细的上下文感知提示方案，而非依赖固定的属性列表。此外，研究结果也隐含着对“人口统计简化主义”的警告：将人群差异简化为若干离散属性标签，可能因属性间的相互作用或模型自身的表征局限而适得其反。