Speaker Group Encoding in Self-supervised Speech Recognition Models：深度解读

背景

随着自监督语音识别模型（Self-supervised Speech Recognition Models, 简称 S3Ms）在语音处理领域的广泛应用，其内部表征机制的安全性、公平性及可解释性日益受到关注。S3Ms 通常通过在大规模无标签语音数据上进行预训练来学习通用的语音特征，随后通过微调（Finetuning）适应特定的下游任务，如说话人识别（Speaker Identification, SID）或自动语音识别（Automatic Speech Recognition, ASR）。

然而，现有的研究指出，这些模型在训练过程中可能会无意中编码关于说话人组的敏感信息（Speaker Group Information, SGI）。这些信息包括但不限于说话人的性别、年龄、方言、种族以及是否为母语者等。如果模型过度依赖或错误地关联这些社会人口统计学特征，可能会导致算法偏见，进而影响 ASR 系统的公平性。

本文旨在深入探究 S3Ms 究竟学习了哪些关于说话人组的信息，以及不同的微调策略（如针对 SID 的微调、针对 ASR 的微调，以及引入公平性增强算法的微调）如何改变模型对这些信息的编码方式。

核心内容

本研究系统地分析了 S3Ms 在不同状态下的内部表征，重点考察了模型对说话人组类别（Speaker Group Categories, SGCs）的编码能力。研究涵盖了四种模型状态：

1. 预训练状态（Pretrained）：仅在大规模无标签数据上训练的原始模型。
2. SID 微调状态（Finetuned on SID）：针对说话人识别任务进行微调的模型。
3. ASR 微调状态（Finetuned on ASR）：针对自动语音识别任务进行微调的模型。
4. 公平性增强 ASR 微调状态（ASR-finetuned using a fairness enhancing algorithm）：在 ASR 微调基础上，应用了旨在提升公平性的算法的模型。

1. S3Ms 编码的说话人组类别

研究发现，S3Ms 能够编码多种说话人组类别（SGCs）的信息，具体包括：

• 性别（Gender）
• 年龄（Age）
• 方言（Dialect）
• 种族（Ethnicity）
• 是否为母语者（Native Speaker Status）

这表明，即使在未明确标注这些属性的情况下，自监督学习过程也会从语音信号中提取出与社会人口统计学特征相关的潜在维度。

2. 微调任务对 SGC 编码的影响：语音变异 vs. 语义变异

研究进一步将说话人组信息（SGI）的变异性质分为两类：

• 语音性质变异（Phonetically variant）：指由发音生理结构、口音习惯等导致的语音声学特征差异（如某些方言或年龄段的发音特点）。
• 语义性质变异（Semantically variant）：指由语言内容、用词习惯等导致的语义层面差异。

SID 微调的影响： 针对说话人识别（SID）的微调会放大某些 SGCs 的编码强度，特别是那些具有语音性质变异的 SGCs。这是因为 SID 任务的核心目标是区分不同的说话人，而说话人的声学特征（如音色、语调）是区分的关键线索。然而，SID 微调并不会显著放大那些主要体现为语义性质变异的 SGCs。

ASR 微调的影响： 相反，针对自动语音识别（ASR）的微调倾向于丢弃具有语音性质变异的 SGI，同时保留具有语义性质变异的 SGI。这是因为 ASR 的目标是准确转录文本内容，模型需要忽略说话人的个体声学差异（即“谁在说”），而专注于语言内容本身（“说了什么”）。因此，ASR 微调过程实际上起到了一种“去身份化”的作用，削弱了模型对说话人声学特征的依赖。

3. 公平性增强算法的作用

研究还评估了旨在提升公平性的 ASR 算法对 SGI 编码的影响。结果显示，这些算法确实改变了 S3Ms 中 SGI 的编码程度，但这种影响具有选择性：

• 对于语音性质变异的 SGCs，公平性算法能显著调整其编码方式。
• 对于语义性质变异的 SGCs，公平性算法的影响较小。

这表明，当前的公平性增强技术主要作用于消除声学层面的偏见，而对于语言内容层面的潜在偏见，可能需要额外的干预手段。

4. 模型层级的编码机制与嵌入子维度

研究还深入分析了 SGI 是如何在模型的每一层中被编码的，并识别出了嵌入向量（Embeddings）中负责编码不同 SGCs 的子维度（Subdimensions）。这一发现为理解模型内部的黑盒机制提供了细粒度的视角，表明不同的社会人口统计学特征并非均匀分布在所有维度上，而是集中在特定的嵌入子空间中。

关键要点

• 自监督模型隐含社会属性：S3Ms 在预训练阶段会自动编码性别、年龄、方言、种族和母语状态等多种说话人组类别（SGCs）的信息。
• 任务导向的编码差异：
  • SID 微调会放大具有语音性质变异的说话人组信息，因为区分说话人依赖于声学特征。
  • ASR 微调会抑制具有语音性质变异的信息，同时保留具有语义性质变异的信息，以实现内容识别的鲁棒性。
• 公平性算法的局限性：现有的公平性增强算法主要影响语音性质变异的 SGCs 编码，对语义性质变异的 SGCs 影响有限。
• 嵌入空间的子维度特异性：不同的 SGCs 由嵌入向量中的特定子维度负责编码，这为后续的公平性干预提供了可操作的切入点。

意义与影响

本研究揭示了自监督语音模型内部编码说话人组信息的复杂机制，为设计更公平、更透明的 ASR 系统提供了理论依据和实践指导。

1. 算法公平性设计：通过理解哪些微调步骤会放大或抑制特定的偏见维度，研究人员可以更有针对性地设计公平性增强算法。例如，如果目标是消除种族或方言带来的识别偏差，可能需要特别关注语音性质变异的编码层，并应用特定的去偏技术。
2. 模型可解释性：识别出负责编码不同 SGCs 的嵌入子维度，使得开发者能够监控和干预模型中的潜在偏见，而不仅仅是依赖黑盒式的性能评估。
3. 任务适配策略：研究结果强调了微调任务对模型行为的关键影响。在开发面向特定人群的 ASR 系统时，需谨慎选择微调策略，以避免无意中强化或削弱某些说话人群体的特征表达。
4. 未来研究方向：鉴于公平性算法对语义性质变异影响较小，未来的研究需要探索如何检测和纠正语言内容层面的偏见，以实现全方位的算法公平性。