LoSoNA：多群体对话中本地社交规范适应性的基准测试解读

背景

在线群组聊天（Online group chats）不仅是信息交换的场所，更是具有独特“本地社交规范”（Local Social Norms）的社会空间。这些规范通常隐含在对话的上下文、语气、用词习惯以及互动模式中，极少被显式地声明或规定。例如，某个特定的 Discord 服务器或 Slack 频道可能有着独特的幽默风格、缩写习惯或对回复时长的默契要求。

尽管大型语言模型（LLM）在通用对话中表现出色，但它们是否具备识别并适应这些细微、隐性的本地社交规范的能力，目前仍是一个未被充分探索的领域。现有的评估体系多侧重于事实准确性、逻辑推理或通用指令遵循，往往忽视了模型在复杂社会互动中的“情商”和语境适应能力。

为了解决这一空白，研究者引入了 LoSoNA（Local Social Norm Adaptation，本地社交规范适应），这是一个专门用于评估多群体聊天场景中，LLM 代理（Agents）能否推断并适应隐性社交规范的基准测试。

核心内容

LoSoNA 的核心设计旨在模拟真实世界中群体对话的复杂性，通过结构化的场景来测试模型的社交推理能力。

1. 测试机制与场景设计

LoSoNA 的每个测试场景都包含以下关键要素：

• 主体模型（Subject Model）：即被评估的 LLM。
• 精心策划的对话记录（Curated Group-Chat Transcript）：主体模型会接收到一段多方的聊天记录。在这段记录中，非主体参与者（即“其他用户”）的行为模式隐含了一种“本地规范”。这种规范是隐藏的，模型必须通过观察前文互动来推断。
• 诱导轮次（Elicitor Turn）：在对话记录之后，有一个特定的最后一轮输入（final elicitor turn）。这一轮的设计目的是迫使主体模型做出回应。该回应的内容将直接揭示模型是否成功推断出了前文隐含的本地规范。

简而言之，LoSoNA 不直接告诉模型“这里有一个规范”，而是让模型像人类一样，通过观察前人的互动模式（precedent），自行归纳出“在这个群里大家是怎么说话的”，然后据此生成下一句回复。

2. 评估模型与实验设置

研究团队对八款前沿（Frontier）和开源权重（Open-weight）模型进行了评估。为了探究提示工程（Prompting）对模型表现的影响，实验设置了四种不同的提示条件，主要变量在于模型被显式告知将 prior conversation（前序对话）视为回答证据的程度。

这四种条件旨在测试从“无提示”到“显式引导”的不同层级对模型社交适应能力的影响。

3. 主要发现

实验结果揭示了当前 LLM 在社交规范适应方面的显著差异：

• 朴素提示（Naive Prompting）的局限性：在大多数模型中，如果不加任何特殊引导，模型的表现非常有限，难以自发捕捉隐性规范。
• 显式规范感知提示（Explicit Norm-Aware Prompting）的不均衡效果：当提示中明确告知模型需要关注前序对话中的规范时，部分模型表现显著提升，但提升幅度不均。
  • Gemini 3.1 Pro 表现最佳，准确率达到 84.2%。
  • Claude Fable 5 紧随其后，准确率达到 81.6%。
• 其他模型的退步或微小增益：值得注意的是，除了上述两款模型外，其他几个模型在采用显式规范感知提示后，仅显示出微小的增益，甚至出现了性能倒退（Regressions）。这表明，强行引导模型关注规范可能会干扰其原有的生成逻辑，或者这些模型缺乏足够的内部表征来利用这种引导。

关键要点

• LoSoNA 的定义：这是一个专注于评估 LLM 在多群体聊天中推断和适应“本地社交规范”能力的基准测试。
• 隐性规范的挑战：测试重点在于模型能否从非显式声明的对话历史中，归纳出群体特有的互动规则（如语气、格式、幽默方式等）。
• 测试流程：模型先阅读包含隐性规范的群体对话记录，随后通过最后一轮诱导性输入，测试其生成的回复是否符合该规范。
• 模型性能分化：
  • 顶级模型（如 Gemini 3.1 Pro 和 Claude Fable 5）在显式引导下能较好地适应本地规范，准确率超过 80%。
  • 大多数其他模型在朴素提示下表现不佳，且在显式引导下提升有限或出现性能波动。
• 提示工程的重要性：实验表明，如何引导模型利用前序对话作为证据，对最终结果有决定性影响，但并非所有模型都能有效利用这种引导。
• 评估维度：LoSoNA 填补了 LLM 评估中关于“社会能力”（Social Capabilities）的空白，特别是针对“从先例中推断规范并在一轮对话中应用”这一具体能力。

意义与影响

LoSoNA 的提出对 LLM 的研究和应用具有多重重要意义：

1. 推动 LLM 社交能力的精细化评估： 当前的 LLM 基准测试多集中于逻辑、数学和代码等硬技能，而 LoSoNA 响应了近期学术界关于评估 LLM “社会能力”的呼吁。它提供了一个量化的框架，用于衡量模型在复杂、非结构化社会互动中的适应性。

2. 揭示模型泛化能力的边界： 结果显示，即使是前沿模型，在适应全新、隐性的社交规范时也面临挑战。这提示我们，LLM 的“通用智能”并不等同于“社交智能”。模型可能擅长遵循显式指令，但在缺乏明确规则的社会语境中，其表现仍高度依赖于特定的提示策略和模型本身的架构特性。

3. 对 AI 代理（Agents）部署的指导： 随着基于 LLM 的代理被越来越多地部署到 Discord、Slack、Teams 等群组聊天环境中，能否适应特定社区的“潜规则”对于用户体验至关重要。LoSoNA 的结果表明，目前只有少数顶级模型具备较强的自适应能力，且需要精心设计的提示工程。这对于开发者构建聊天机器人或社区管理 AI 具有重要参考价值——不能假设模型会自动适应环境，而需要显式的规范注入或微调。

4. 促进对社会认知建模的研究： LoSoNA 为研究 LLM 如何模拟人类的社会认知过程提供了一个新的实验平台。通过分析模型在哪些类型的规范上表现良好、在哪些上失败，研究人员可以更深入地理解当前模型在理解人类社会互动机制上的局限性。

总之，LoSoNA 不仅是一个基准测试，更是一个警示：在将 AI 引入高度社会化的在线空间时，我们必须正视其在隐性社会规范理解上的不足，并继续探索提升模型社会适应性的有效路径。