LLM提示鲁棒性取决于任务：客观与信念问题对比

背景

近年来，基于调查问卷（survey-style）的大语言模型（LLM）评估方法日益流行。这类方法将模型对提示（prompt）的响应直接解读为模型所持有的“价值观”或“信念”，尤其在政治态度、社会观念等主观议题上。然而，这种解读隐含一个脆弱假设：模型的回答是稳定且鲁棒的，即提示的微小变化不会改变答案。事实上，LLM 对提示措辞、框架、格式等变化非常敏感，这种现象称为“提示鲁棒性”（prompt robustness）。本文旨在系统探究提示鲁棒性是否因问题类型（客观 vs. 主观）而异，并分析模型、数据集、提示类别等因素的交互作用。

核心内容

本研究考查了四个经过指令微调（instruction-tuned）的模型家族，在三个客观数据集（MMLU、ARC、CulturalBench）和三个主观数据集（政治罗盘测试 Political Compass Test、ValueBench、世界价值观调查 World Values Survey）上的表现。针对每个问题/陈述，研究团队应用了多种类型的提示变化（如措辞、框架、格式的变体），并测量模型在不同变体下是否给出相同答案。使用二项广义估计方程（binomial generalized estimating equation, GEE）进行统计分析，发现模型、数据集、提示类别及其交互作用对提示鲁棒性均有显著影响。数据集类型（客观 vs. 主观）的效应也显著，且数据集类型与提示类别之间的交互作用较大。结果表明：提示鲁棒性取决于问题类型、提示变化方式以及模型本身。

关键要点

• 研究对比了客观问题（有固定答案）与主观问题（要求表达观点或价值观）两类任务，发现提示鲁棒性在这两类任务上存在显著差异。
• 使用的客观数据集包括 MMLU（多任务语言理解）、ARC（AI2 推理挑战）和 CulturalBench（文化基准）；主观数据集包括 Political Compass Test（政治罗盘测试）、ValueBench（价值基准）和 World Values Survey（世界价值观调查）。
• 提示变化类型涵盖措辞、框架、格式等变体，旨在模拟真实使用中用户可能采用的多种问法。
• 统计建模采用二项广义估计方程（GEE），能够处理重复测量数据并估计多个因素的边际效应。
• 主要发现：模型、数据集、提示类别三者的主效应显著；数据集类型（客观 vs. 主观）效应显著；数据集类型与提示类别的交互作用较大，说明不同问题类型对提示变化的敏感度不同。
• 结果挑战了当前将 LLM 响应直接解读为模型“信念”的常见做法，强调评估时需考虑提示鲁棒性的任务依赖性。

意义与影响

该研究为 LLM 评估方法论提供了重要警示：基于单一提示下的回答来推断模型的价值观或信念是不可靠的，因为提示鲁棒性高度依赖于问题类型和变化方式。对于客观知识性问题，模型可能相对稳定，但在主观态度、价值观等问题上，答案极易受提示措辞影响。这意味着“价值观对齐”测试的结果可能并非模型固有的立场，而是提示工程的人工产物。未来研究应设计多提示、多变化的鲁棒性评估框架，并谨慎对待 LLM 在社会调查和政治光谱等场景中的“回答”。此外，该发现对模型部署、可解释性以及公平性分析均有启发：评估者需明确区分模型在客观事实上的能力与其在主观偏好上的“表现”，后者更易受操控。