语言模型中的性别化与中性生成：神经元层面的干预研究

背景

大型语言模型（LLMs）在自然语言处理领域取得了显著进展，但其内部表征中潜藏的性别偏见问题日益受到关注。尽管用户输入的是中性提示词（neutral prompts），模型仍倾向于生成带有性别色彩的语言或刻板印象。

现有的关于 LLM 性别偏见的研究主要局限于二元性别视角，即聚焦于“女性化”（feminine）与“男性化”（masculine）的对立。然而，这种二元框架忽略了一个重要的维度：性别中立形式（gender-neutral forms），例如使用 they/them 代词或中性措辞的职业头衔。目前，性别相关信号是如何在 LLM 的内部表征中被编码的，仍然是一个未解之谜。

为了解决这一空白，本研究深入探讨了 LLM 中与性别相关的神经元，不仅涵盖传统的男女二元分类，还特别引入了“性别中立”这一类别，旨在通过神经元层面的干预，实现对生成内容的精细化性别控制。

核心内容

本研究提出了一种基于神经元层面的干预方法，旨在识别并操控与特定性别类别紧密相关的神经元。研究团队将性别类别细分为三类：女性化（feminine）、男性化（masculine）和性别中立（gender-neutral）。

1. 神经元识别与干预机制

研究团队首先提出了一种方法，用于定位那些与特定性别类别高度相关的神经元。通过控制实验，研究人员验证了激活或屏蔽这些与性别相关的神经元，能够引导句子向目标性别形式生成，同时保持句子的原始语义不变。这意味着，可以在不改变句子核心含义的前提下，精确调整其性别表达方式。

2. 数据集构建与评估

为了评估性别干预方法的有效性，研究团队精心构建了两个包含受控句子的数据集，这些句子均标注了上述三种性别类别。为确保数据的可靠性，研究通过人工评估（human evaluation）验证了数据质量。

3. 实验结果与发现

在两个开源 LLM 上进行的实验揭示了以下关键发现：

• 神经元分布不均：与性别相关的神经元并非均匀分布在模型的所有层中，而是高度集中在最浅层（earliest layers）。较深层的神经元贡献相对较小。
• 控制精度更高：与现有方法相比，本研究提出的方法实现了更精确的性别控制。具体表现为：
  • 减少泄漏：非目标性别类别的“泄漏”现象更少。
  • 输出稳定：通过两项评估标准验证，输出质量保持稳定。

总体而言，这项工作不仅揭示了 LLM 中性别编码的机制，还提供了一种简单且有效的控制性别干预的方法，既可用于神经元干预评估，也可用于缓解性别偏见。

关键要点

• 突破二元局限：研究首次将“性别中立”（如 they/them 代词、中性职业头衔）纳入性别偏见研究的框架，弥补了以往仅关注男女二元对立的不足。
• 细粒度神经元定位：提出了一种能够识别与女性化、男性化及性别中立三类性别概念紧密相关的神经元的方法。
• 语义保持的干预：通过激活或屏蔽特定神经元，可以改变生成的性别形式，同时确保句子的原始语义不被破坏。
• 浅层主导效应：性别相关信号在模型中的编码主要集中在最浅层网络，深层网络的贡献相对有限。
• 优于现有方法：该方法在性别控制的精确度上优于现有技术，有效减少了非目标性别的干扰（泄漏），并保持了稳定的输出质量。
• 开源贡献：研究代码和数据集已公开，便于社区复现及进一步研究。

意义与影响

这项研究在理解大语言模型内部机制及缓解算法偏见方面具有重要的理论与应用价值。

首先，在可解释性方面，研究揭示了性别信号在神经网络中的具体编码位置和层级分布（主要集中在浅层），为理解 LLM 如何处理社会属性提供了新的视角。

其次，在偏见缓解方面，传统的去偏见方法往往难以兼顾语义完整性与性别控制的精确度。本研究提供的神经元级干预方案，提供了一种更精细的工具，允许开发者在不牺牲语言质量的前提下，引导模型生成符合特定性别规范或中立规范的内容。这对于构建更加包容、公平的人工智能系统至关重要。

最后，通过引入“性别中立”类别并构建相应的高质量数据集，本研究推动了性别研究从二元对立向更复杂、更多元的社会性别认知转变，为后续关于非二元性别、性别流动性等议题的 AI 研究奠定了基础。