LLMs Infer Cultural Context but Fail to Apply It When Responding

背景

大型语言模型（LLMs）在展现卓越的语言生成能力同时，也暴露出了显著的文化偏差问题。近期的研究指出，LLMs 倾向于过度代表主导文化（尤其是西方文化），而边缘化其他文化背景。这种偏差不仅体现在训练数据的分布上，更直接影响了模型生成内容的文化适应性。

尽管模型能够识别并理解特定的文化语境，但在实际生成回复时，往往无法将这些认知转化为符合当地习惯的表达。例如，在涉及度量衡、时间观念或数量表达等具有强烈文化属性的语言维度上，模型的表现往往与其“理解”能力脱节。为了深入探究这一现象，研究人员提出了一种新的评估视角：不仅关注模型是否“知道”某种文化规范，更关注其是否能在对话中“应用”这些规范。

核心内容

本研究通过引入 CAPRI（Cultural and Pragmatic Response Inference，文化与语用响应推理）数据集，系统性地评估了当前最先进的大型语言模型在文化适应性方面的表现。

1. CAPRI 数据集与评估方法

CAPRI 是一个包含不同层级文化线索（cultural cues）的对话数据集。研究旨在检验模型是否能根据用户感知到的文化背景，生成符合当地习惯的响应。评估重点包括两个主观的语言接地维度（language grounding dimensions）：

• 时间表达的解释：不同文化对时间紧迫性、日程安排的理解存在差异。
• 数量表达的解释：不同文化对度量衡单位（如英里 vs. 公里，磅 vs. 公斤）及数量级感的偏好不同。

2. 实验发现：认知与应用之间的断裂

实验结果显示，LLMs 在文化处理能力上呈现出一种“知行分离”的状态：

• 推断能力强：模型能够准确地从对话线索中推断出用户的文化背景，并回忆起相关的文化惯例。
• 应用能力强弱不一：尽管模型“知道”相关规范，但在生成回复时，往往未能自动将这些信息应用于调整答案。除非通过显式的提示（explicitly prompted），要求模型按顺序执行“推断-应用”任务，否则模型倾向于忽略这些文化线索。

3. 先验偏差与文化中立性的缺失

研究进一步发现，随着文化线索的积累，模型对答案的适应性会逐渐增强。然而，模型的“先验”（priors）并非文化中立。在某些情况下，模型的回答倾向于与其模型起源国（country of origin）的文化规范保持一致，而非完全适应用户所在的文化背景。这意味着，即使模型具备多语言能力，其底层逻辑仍可能隐含特定文化中心的偏见。

关键要点

• 文化表征失衡：LLMs 普遍存在对西方主导文化的过度代表，导致对其他文化的边缘化。
• CAPRI 数据集的引入：研究提出了 CAPRI 数据集，专门用于衡量模型在对话中利用文化线索进行响应推理的能力。
• 推断与应用脱节：最先进的 LLMs 能够推断文化背景并回忆相关惯例，但通常无法自动利用这些信息来调整回答，除非受到明确的顺序任务提示。
• 主观语言维度的文化影响：时间和数量表达是受文化影响显著的语言维度，模型在这些维度上的适应性随文化线索增加而提高，但并非完全中立。
• 起源国偏见：模型的文化先验并非中立，有时会与其训练或发布所在国家的文化规范对齐，而非适应用户的文化背景。
• 研究资源价值：CAPRI 为未来研究缩小“文化知识”与“文化适应性语言生成”之间的差距提供了重要资源。

意义与影响

这项研究揭示了当前 LLMs 在跨文化交互中的一个关键瓶颈：理解不等于适应。

对于 AI 开发者而言，这意味着仅仅提升模型的语言理解能力或增加多语言数据量，并不足以解决文化适应性问题。模型需要更精细的机制来确保在生成阶段能够动态调用和应用特定的文化规范，而非仅仅依赖静态的知识检索。

对于全球用户而言，这一发现提醒我们在使用 AI 助手时，特别是在涉及本地化服务、商务沟通或跨文化交流场景下，不能默认模型会自动遵循当地习惯。显式的提示工程（Prompt Engineering）——即明确指示模型考虑特定文化背景——仍然是确保输出内容文化适宜性的必要手段。

最终，CAPRI 数据集的建立为学术界和工业界提供了一个标准化的基准，有助于推动下一代 AI 系统向更加文化包容、去中心化和本地化的方向发展，从而真正弥合全球数字鸿沟中的文化断层。