研究：语言模型人格特质可被测量与调控

背景

大型语言模型（LLM）在实际部署中会表现出重复的行为模式——即“人格”（persona），这些模式深刻影响着模型泛化能力和安全性。然而，学界目前缺乏可靠的工具来分解、测量和控制这些行为模式。传统的人格心理学中，OCEAN（大五人格）模型已被广泛用于描述人类个性，但能否将其迁移到语言模型的权重空间中，仍是一个开放问题。本文提出了一种系统性的方法，将LLM的人格视为行为特质空间中的位置，通过低秩微调机制在权重空间内直接操控特定人格轴，并评估其对下游任务和安全相关行为的影响。

核心内容

本文的核心洞察是：将语言模型的人格（persona）视为行为特质空间中的坐标点，并采用OCEAN框架（Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism）来定量描述模型的人格特征。具体而言，研究者训练了低秩适配器（low-rank adapters），分别用于增强或抑制每个OCEAN特质。为了评估这些适配器的效果，他们构建了三层评估体系：

1. LLM评判器（LLM-judge）：基于人类验证过的标注面板进行校准，用于判断模型输出中体现的特质强度。
2. 特质特定多选题基准：针对每个OCEAN维度设计的选择题测试，直接测量模型在该特质上的表现。
3. 标准能力评估：常规的推理、知识等能力基准测试，以检查人格操控是否影响模型的核心能力。

实验覆盖了三个模型家族（共6个模型，参数量从4B到32B），主要发现包括：

• 单调性：每个适配器在对应特质上的移动效果大致随适配器缩放因子单调变化，即增强或抑制的幅度可预测。
• 可组合性：多个适配器可以近似相加地叠加，以构建出混合人格（mixed personas），例如同时提高开放性和宜人性。
• 能力保持：在适度的缩放幅度下，人格适配器不会显著降低模型在标准能力基准上的表现。
• 安全相关性：沿特定人格轴移动会影响下游安全相关行为。例如，沿神经质（Neuroticism）轴移动会改变模型表达沮丧（frustration）的倾向；沿宜人性（Agreeableness）轴移动则影响谄媚（sycophancy）行为。

此外，论文还引入了一种无监督心理测量管线（unsupervised psychometric pipeline），该管线从模型生成的文本（rollouts）中自动提取出四个可解释的行为因素：语气（tone）、主动性（initiative）、说教性（didacticism）和认知谨慎（epistemic caution）。这些因素与OCEAN特质存在交叉对应关系，为理解人格控制提供了更丰富的维度。

最终，作者将人格控制问题重新表述为：在权重空间中进行特质的学习、缩放与组合，从而建立起人格测量、模型编辑与安全之间的桥梁。

关键要点

• OCEAN框架：首次将大五人格（开放性、尽责性、外倾性、宜人性、神经质）系统地应用于LLM人格的定量描述与操控。
• 低秩适配器操控：通过训练独立的低秩适配器来增强或抑制单一特质，实现了对模型人格的定向干预。
• 单调性与可组合性：适配器效应随缩放因子单调变化，且多个适配器可近似相加组合，使得混合人格的构建可预测。
• 能力保持：适度的人格操控不会显著损害模型在标准能力基准（如推理、知识）上的表现，说明人格与一般能力在一定程度上可分离。
• 安全影响：沿神经质轴移动影响沮丧倾向，沿宜人性轴移动影响谄媚行为，暗示人格控制可成为安全对齐的工具。
• 无监督心理测量：从模型输出中自动提取出四个行为因素（语气、主动性、说教性、认知谨慎），无需人工标注即可发现人格的潜在结构。

意义与影响

该研究为人格与安全对齐领域提供了方法论上的突破：

1. 可操作性：以往对LLM人格的讨论多停留在描述层面，而本文提供了在权重空间内直接编辑人格特质的实践路径，使“人格控制”成为可工程化的技术。
2. 安全对齐新视角：通过控制神经质、宜人性等维度，可以有针对性地减少模型产生有害行为（如谄媚、情绪化反应）的风险，且不影响模型核心能力。
3. 理论与工具桥梁：将心理学的人格测量理论与LLM权重编辑技术相结合，为理解模型内部表征与行为之间的关系提供了新的分析框架。
4. 扩展性：无监督心理测量管线可推广到其他模型和任务场景，有助于发现更多与安全、偏见、鲁棒性相关的行为因素。

尽管该研究仅在4B-32B参数规模的模型上验证，且适配器效果受限于训练数据，但其方法为未来构建更安全、更可控的语言模型奠定了坚实基础。