Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models

背景

现有的大语言模型（LLM）评测基准主要关注准确性、指令遵循能力和安全性，但忽略了一个关键能力：当模型被问到“专家相信什么”与“模型自己相信什么”这两个不同性质的问题时，是否能够恰当地切换知识立场（epistemic register）。一个可信的对话助理应能区分这两种请求，并在第一种情况下采用中立引述（neutral attribution），在第二种情况下表达自身立场（stance expression）。这种由提示条件触发的语域切换（register shift）是否存在、以及是否连贯发生，至今没有直接的量化评估工具。为了填补这一空白，本文提出了一种新的行为基准——ESFP（Epistemic Stance Flexibility Probing）。

核心内容

ESFP将“外部归因提示”（externally attributed prompt，例如“专家认为……”）与“自我归因提示”（self-attributed prompt，例如“你认为……”）之间的对比作为基本测量单元。基准由 104个精心控制的测试项 组成，覆盖六大认知类别（epistemic categories）：包括知识主张、科学争议、价值判断等维度，并采用五种措辞模板（phrasing templates）来减少表层结构差异带来的干扰。

模型响应从四个互补维度进行评估：

1. 词汇自我归因（lexical self-attribution）：检测表面词汇标记（如“I think”、“I believe”）的使用频率变化。
2. 表示层对角色框架的响应（representation-level responsiveness to role framing）：分析模型内部表示对不同角色定制的敏感度。
3. 句子层面的立场内容密度（sentence-level stance content density）：借助一个由LLM组成的评审团（LLM judge panel）对每条回复的整体立场强度进行评分。
4. 跨条件立场一致性（cross-condition stance consistency）：评估模型在外部归因和自归因条件下立场表达的稳定性和差异幅度。

研究者对来自五个供应商的八个前沿模型进行了评估，涵盖不同规模和类型（包括专有模型和开放权重模型、常规模型与推理优化模型）。主要发现包括：

• 认知灵活性（epistemic flexibility）与通用模型能力 大体正交：一个 27B参数的开放权重模型 在灵活性上足以媲美最强专有系统。
• 某系列中的 旗舰模型 在灵活性上反而 不及同系列的轻量版。
• 推理优化模型（例如经过思维链训练的模型）并未持续表现出更高的灵活性。
• 在四个评估维度中，立场内容密度 提供了最强区分信号，而表面词汇标记（如“I think”的使用频率）的变化可能很大，却未必伴随实质立场的变化。

论文提供了逐项的 bootstrap 置信区间、权重敏感性分析，并明确讨论了综合分数的解释限度。ESFP测量的是模型在归因条件变化下调整知识立场的 倾向（propensity），而非通用的能力指标。

关键要点

• ESFP是首个专门用于量化LLM在外部归因与自归因提示下知识立场切换行为的基准，填补了现有评测在语域灵活性方面的空白。
• 基准设计精细：104个测试项覆盖6大认知类别×5种措辞模板，确保评估的系统性和鲁棒性。
• 评估采用四维框架：词汇标记、表示层面响应、立场内容密度（LLM评审团）、跨条件一致性，其中立场内容密度是最有效的信号。
• 认知灵活性与模型规模、能力及推理优化 无明显正相关：27B开放权重模型可媲美最强专有模型，旗舰模型可能不如轻量版。
• 表面词汇变化（如增加“I think”）并不代表真正的立场转换——模型可能只做表层修饰，而底层立场未变。
• 研究公开了逐项置信区间和权重敏感性分析，强调了综合分数的解释有限性，应结合各维度独立解读。

意义与影响

ESFP首次将“认知灵活性”从通用能力中剥离出来，为构建真正可信、语域敏感的对话代理提供了可操作的行为度量。该工作具有以下重要价值：

1. 识别盲点：传统评测（如MMLU、TruthfulQA、指令遵循测试）无法揭示模型在角色归因条件变化下的立场切换能力，而这一能力对于金融顾问、医疗问答、学术辅助等需要明确区分“客观事实”与“主观观点”的应用场景至关重要。

2. 指导模型选型与开发：ESFP的发现表明，追求更大的参数量或更强的推理能力不一定带来更好的语域适应性。开发者应单独评估该维度，尤其是在部署涉及多角色交互的系统时。

3. 提示设计和安全启示：模型可能轻易通过“I think”这类表层标记伪装立场变化，而内部立场并未改变。这意味着安全对齐（如避免过度自信或虚假客观）需要更细粒度的检测，而非仅依赖词汇过滤。

4. 方法论贡献：ESFP的四维评估框架以及基于LLM评审团的立场内容密度评分方法，为后续研究提供了可复现的范式和统计工具（如bootstrap置信区间）。同时，论文坦诚讨论了综合分数的解释局限，倡导逐项多维度分析。

5. 局限性：ESFP目前仅关注“专家”与“模型自身”的归因对比，尚未覆盖其他归因主体（如“某科学家”、“多数人”等）；另外，评估的模型样本有限，且立场内容密度依赖LLM评审团，其本身可能存在偏差。但作为首个系统基准，它开辟了评测LLM社会语境适应性的新方向。