人机协作构建可扩展文化特异性刻板印象数据集

背景

近年来，大语言模型（LLM）中的刻板印象研究主要集中于英语语境，这导致两个突出问题：一是缺乏其他语言的刻板印象数据集，二是对非英语文化（尤其是不被充分代表的群体）进行人工标注的成本极高。现有偏见评估基准大多以英语为中心，难以捕捉不同文化中独特的、地域化的偏见模式。为填补这一空白，该论文提出了一种成本高效的人机协作标注框架，并基于该框架构建了西班牙语刻板印象数据集 EspanStereo，覆盖欧洲和拉丁美洲多个西班牙语国家。该工作旨在为多语言、跨文化的刻板印象分析提供可扩展的解决方案，同时揭示 LLM 在不同西班牙语国家间表现出的刻板印象行为差异。

核心内容

该研究首先指出，当前 LLM 刻板印象研究存在文化偏差——多数评估仅以英语为中心，忽视了其他语言和文化中的特定偏见。为此，作者设计了一个人类与 LLM 协作的标注框架，核心流程如下：

1. 候选刻板印象生成：利用 LLM（未指明具体模型）自动生成针对特定文化群体的候选刻板印象语句。这些候选既包括已有文献中记录广泛的刻板印象，也包括英语中心资源中缺失的、文化特有的偏见。
2. 文化内验证：邀请来自目标文化内部的标注者（即母语为该语言且熟悉当地文化的人）对候选进行验证、修正或剔除。通过这种方式，确保数据集的准确性和文化特异性，同时大幅降低纯人工标注的成本。
3. 数据集构建：将上述流程应用于多个西班牙语国家（覆盖欧洲和拉丁美洲），最终形成了 EspanStereo 数据集。该数据集包含两类刻板印象：一是已有文献中记载的、跨越多个西班牙语国家的常见刻板印象；二是仅限于特定国家或地区的细微偏见。
4. 评估应用：利用 EspanStereo 对当前支持西班牙语的 LLM（如某些商业或开源模型）进行测试。评估结果显示，这些模型在不同西班牙语国家间的刻板印象行为存在显著差异——例如，模型可能对某些国家的群体表现出更强烈的负面联想，而对另一些国家则相对中立。这说明现有的跨文化偏见评估远远不够，需要更精细、更基于文化背景的测试方法。

论文还强调，该框架具有通用性：不仅限于西班牙语，可推广至其他语言和地区。通过将 LLM 的生成能力与人类文化专家的验证相结合，在保证数据质量的同时实现了规模化扩展，为建立多语言刻板印象基准提供了可行路径。

关键要点

• 问题定位：现有 LLM 刻板印象研究过度集中于英语，缺乏对其他语言和文化（尤其是拉丁美洲、欧洲西班牙语区）系统性、规模化的偏见数据。
• 方法核心：提出人类-LLM 协作标注框架——LLM 负责低成本生成大量候选刻板印象，人类文化内标注者负责验证、筛选，兼顾效率与准确性。
• 数据集成果：构建了 EspanStereo，覆盖多个西班牙语国家的刻板印象，既收录文献已有刻板印象，也包含英语资源不包含的文化特有偏见。
• 评估发现：对支持西班牙语的 LLM 测试表明，模型在不同西班牙语国家间表现出显著不同的刻板印象行为，说明现有模型存在文化特异性偏见，需要更全面的跨文化评估。
• 可扩展性：框架不限于西班牙语或特定地区，可迁移至其他低资源语言和文化，有助于建立多语言、跨文化的刻板印象评测基准。
• 成本优势：相比纯人工标注，人机协作大幅降低了数据构建的时间和金钱成本，使大规模文化偏见数据集成为可能。

意义与影响

这项工作的意义主要体现在四个方面：

1. 填补资源空白：西班牙语是使用最广泛的语言之一，但此前缺乏系统性的刻板印象数据集。EspanStereo 为西班牙语社区的 LLM 公平性研究提供了首个文化特异性基准，填补了多语言偏见评估的关键缺失。
2. 方法论贡献：人类-LLM 协作框架为低成本构建高文化敏感度的数据集提供了范例。这种“生成-验证”范式可被社区复用，尤其适用于那些难以招募大量人工标注者的小众语言或文化群体。
3. 揭示文化细微差异：评估结果证实，即使同属西班牙语圈，不同国家的文化语境也会导致 LLM 产生截然不同的刻板印象。这说明未来偏见评估不能仅按语言划分，还需考虑国家/地区级别的文化差异，从而推动更精细的公平性研究。
4. 为跨文化偏见研究奠基：该框架的可扩展性使其成为通往多语言偏见评估的桥梁。随着更多语言和文化的加入，社区可以逐步构建全球性的刻板印象图谱，帮助开发者识别并缓解 LLM 中隐藏的文化偏见，最终促进大语言模型在不同文化背景下的安全、公平部署。