Layer-wise Probing of wav2vec 2.0 and Whisper for Consonant Cluster Reduction in African American English

背景

随着自监督学习（Self-supervised Learning）和基于监督学习（Supervised Learning）的语音模型在自然语言处理领域的广泛应用，研究人员越来越倾向于利用这些模型来探究其内部表征究竟编码了哪些语言学信息，以及这些信息是在何种抽象层级上被编码的。

在这一研究背景下，非裔美国人英语（African American English, AAE）中的一个特定语音现象——辅音群简化（Consonant Cluster Reduction, CCR），成为了一个尚未被充分探索的领域。CCR 是 AAE 中一种广泛存在的音系过程（phonological process），例如将 "test" 发音为 "tes"，或将 "best" 发音为 "bes"。这一现象不仅是语言学研究的重点，也是导致自动语音识别（ASR）系统在处理 AAE 时出现性能差异（disparity）的主要原因之一。现有的 ASR 系统往往难以准确识别这种经过简化的语音形式，从而加剧了技术使用中的不平等。

为了深入理解现代语音模型如何处理这一复杂的音系变体，本研究旨在通过分层探测（layer-wise probing）的方法，检验 wav2vec 2.0 和 Whisper 模型在内部表征中对 CCR 的编码机制。

核心内容

本研究选取了两个具有代表性的现代语音模型：wav2vec 2.0-base 和 Whisper-small。研究的核心目标是考察这两个模型如何表征 AAE 中的辅音群简化现象。

为了实现这一目标，研究人员设计了两个具体的探测任务：

1. 片段级简化检测（Segmental reduction detection）：判断语音片段是否发生了简化。
2. 片段级底层群身份恢复（Segmental restoration of underlying cluster identity）：判断模型能否从简化的语音片段中恢复出原本完整的辅音群身份。

通过在这些任务上进行说话人无关（speaker-independent）的分层探测，研究得出了以下关键发现：

首先，两个模型在区分简化形式（reduced forms）和标准形式（canonical forms）时均表现出极高的准确率。这表明现代语音模型具备识别 AAE 中特定音系变体的能力。

其次，也是更为关键的一点，研究发现简化后的语音片段中仍然保留了关于其底层塞音（underlying stops）的线索。这意味着，模型并不是简单地将简化视为物理层面的“片段删除”（segmental deletion），而是将其编码为一种结构化的梯度音系变异（structured gradient phonological variation）。

换句话说，即使语音信号在物理上发生了简化，模型内部的表征依然能够捕捉到那些被省略或弱化的音素信息。这种编码方式反映了人类语言处理中对于音系规则的理解，即简化并非信息的完全丢失，而是一种有规律的、可预测的语音变体。

关键要点

• 研究模型：重点分析了 wav2vec 2.0-base（自监督学习模型）和 Whisper-small（监督学习模型）在 AAE 辅音群简化现象上的表现。
• 研究方法：采用说话人无关的分层探测技术，通过“简化检测”和“底层身份恢复”两个任务来解析模型内部表征。
• 主要发现：
  • 两个模型都能高精度地区分 AAE 中的简化语音和标准语音。
  • 简化片段中依然包含底层塞音的声学线索。
• 理论结论：现代语音模型将 CCR 编码为“结构化的梯度音系变异”，而非简单的“片段删除”。这证明了模型内部存在对 AAE 音系模式的结构性编码。
• 技术背景：CCR 是导致 ASR 系统在 AAE 上性能下降的主要音系因素之一，理解其编码机制有助于缩小技术差距。

意义与影响

这项研究对于理解现代语音模型的内部工作机制以及改进面向少数族裔方言的自动语音识别系统具有重要意义。

1. 深化对模型内部表征的理解 研究结果挑战了简单的“删除”假设，揭示了大型语音模型（如 wav2vec 2.0 和 Whisper）在内部表征中保留了比表面声学信号更丰富的语言学信息。这表明模型不仅学习了声学映射，还内化了某种程度的音系规则。这种“结构化梯度”的编码方式更接近人类对语言变体的认知处理。

2. 缓解 ASR 中的公平性差异 由于 CCR 是导致 ASR 系统在 AAE 上表现不佳的主要原因，理解模型如何编码这一现象为改进系统性能提供了方向。如果模型内部已经保留了底层音素的线索，那么通过调整解码策略或引入特定的音系约束，可以显著提高对简化形式的识别准确率，从而减少技术使用中的种族或方言偏见。

3. 推动计算语言学与语音处理的交叉研究 本研究展示了如何利用分层探测技术作为桥梁，连接深度学习模型的黑盒表征与传统的语言学理论。这种方法论可以为研究其他语言变体、口音适应以及多语言语音识别提供新的视角和工具。

总之，该研究不仅证实了现代语音模型具备处理复杂音系变异的能力，也为构建更包容、更精准的下一代语音识别系统奠定了理论基础。