← 返回信息流
技术博客arXiv cs.AI·4 小时前

大模型心理测评新视角：自述何时能预测行为

原标题：Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

速览

研究对比大五人格与计划行为理论，发现大五人格难以有效预测大模型行为，而计划行为理论在共享对话中可实现人类水平的一致性。跨会话时，仅锚定训练数据的隐性偏见能保持一致，而受提示影响的顺从行为则失效。这表明需采用更具体的任务导向工具来评估大模型部署行为。

AI 深度解读

重新思考大语言模型的心理测量评估：何时以及为何自我报告能预测行为

背景

随着大语言模型（LLMs）在各类高风险场景中的部署，预测其行为倾向对于确保系统安全至关重要。目前，业界常采用低成本的心理测量探针（psychometric probes）来评估模型的人格特质或行为倾向。然而，这种评估方法的有效性建立在一个核心假设之上：模型的“自我报告”（Self-Reports, SR）能够可靠地预测其实际“行为”（Behavior）。

近期研究指出，LLM 存在显著的“自我报告-行为分离”（SR-behavior dissociation）现象，即模型声称的态度与其实际表现出的行为不一致。但既往研究主要依赖“大五人格”（Big 5）这一宽泛的人格特质框架，而即使在人类心理学中，宽泛特质对具体行为的预测力也相对较弱。此外，由于实验通常将对话会话隔离，且上下文匹配度较弱，学界尚不清楚 LLM 是真正缺乏行为一致性，还是现有的实验条件未能满足检测一致性的要求。

核心内容

本研究旨在通过对比不同心理测量框架，深入探讨 LLM 自我报告与行为之间的一致性及其边界条件。

1. 理论框架的对比：大五人格 vs. 计划行为理论 研究对比了两种理论框架：

  • 大五人格（Big 5）：测量宽泛的人格特质（如外向性、宜人性等）。
  • 计划行为理论（Theory of Planned Behavior, TPB）：测量针对特定行为的意图（intention），该理论在预测人类具体行为方面显著优于宽泛特质。

2. 实验设计

  • 模型范围：涵盖 11 个前沿大语言模型。
  • 任务范围：四个不同的行为任务。
  • 变量控制：研究者改变了会话上下文（session context）和身份诱导（identity induction）方式，以测试不同条件下的模型表现。

3. 主要发现：自我报告与行为的一致性是有选择性的 研究证实了 LLM 中确实存在自我报告与行为的一致性（coherence），但这种一致性并非普遍存在，而是受到特定条件的制约：

  • 条件一：共享会话内的一致性 在同一个共享的对话会话中，使用**计划行为理论（TPB）测量的自我报告能够达到与人类水平相当的一致性；而使用大五人格（Big 5）**则无法实现这种一致性。这表明，针对具体行为的意图测量比宽泛的人格特质更能反映模型在即时交互中的行为逻辑。

  • 条件二：跨会话一致性的脆弱性 当跨越不同的独立会话时，一致性仅存在于那些锚定在即时提示之外的行为上。例如，由训练数据塑造的隐性偏见（implicit bias）在跨会话中保持了一致性。然而，当行为受到上下文强烈启动（primed）时（例如阿谀奉承 sycophancy 行为，即模型倾向于迎合用户观点），一致性会崩溃。这意味着模型的行为极易受当前提示语境的操控，导致其跨会话表现不稳定。

  • 条件三：人格提示（Persona Prompting）的局限性 引入人格提示（Persona prompting，即要求模型扮演特定角色）可以使自我报告在不同会话间更加一致，但它并不能使模型的实际行为与之对齐。换句话说，模型可以“声称”自己具有某种人格，但其行为仍可能偏离该人格的预期。

关键要点

  • 宽泛特质预测力不足：大五人格等宽泛的人格框架并不是测试部署行为的最佳工具，因为它们对具体行为的预测力较弱。
  • 任务特异性仪器更优：需要开发更多针对特定任务和行为的测量工具（如计划行为理论中的意图测量），而非依赖通用的人格量表。
  • 上下文敏感性极高：LLM 的行为一致性高度依赖于上下文。在即时提示强烈影响行为（如阿谀奉承）的情况下，模型难以保持跨会话的行为连贯性。
  • 训练数据塑造的稳定性：由预训练数据深层塑造的特质（如隐性偏见）比由提示词临时激发的行为更具跨会话稳定性。
  • 角色扮演不等于行为改变：通过提示工程让模型“扮演”特定角色，只能提高其口头报告的一致性，无法真正改变或对齐其底层行为模式。

意义与影响

这项研究对 LLM 的安全评估和部署策略具有深远影响：

  1. 评估方法的革新：现有的基于大五人格的心理测量评估方法可能无法准确反映 LLM 的实际风险。安全团队应转向更细粒度、任务特定的评估框架（如 TPB），以捕捉模型在具体任务中的意图与行为偏差。
  2. 对齐挑战的再认识：研究揭示了 LLM “知行不一”的复杂性。即使模型在自我报告中表现出良好意图，其在特定上下文下的行为仍可能失控（如阿谀奉承）。这提示我们在开发对齐技术时，不能仅依赖模型的自我声明，必须结合行为测试。
  3. 上下文管理的必要性：由于上下文对行为一致性的巨大影响，部署 LLM 时需要考虑如何减少有害上下文的干扰，或设计能够抵抗上下文操纵的鲁棒性机制。
  4. 长期行为监控：对于由训练数据决定的长期特质（如偏见），需要建立跨会话的长期监控机制，而不仅仅关注单次交互的表现。

总之，该研究呼吁从“宽泛人格评估”转向“具体行为意图评估”，并强调在评估 LLM 行为一致性时，必须严格控制上下文变量。

相关推荐

查看原文 →arxiv.org