多模态特征融合提升印度语言方言识别与ASR

背景

印度语言种类繁多，其中许多属于低资源语言，且方言差异显著。自动语音识别（ASR）和方言识别（Dialect Identification, DID）是这些语言处理中的关键任务。然而，现有方法通常独立优化 ASR 或 DID，导致性能间存在权衡——专注于一方往往会损害另一方。例如，只为 ASR 优化的模型可能无法区分细微的方言差异，而专门用于 DID 的模型又难以在语音识别上取得低错误率。因此，如何在一个统一框架下同时提升 ASR 和 DID 的性能，成为印度语言语音处理领域的重要挑战。

核心内容

本工作提出一种多模态框架，用于联合改进印度语言的 ASR 和 DID。方法核心如下：

1. 方言特征提取：使用一个瓶颈编码器（Bottleneck Encoder）从基于 Conformer 的语音表示中提取方言特异性特征。Conformer 作为主语音编码器，负责生成高层声学表征。
2. ASR 嵌入处理：利用 RoBERTa 编码器处理 ASR 解码器生成的 CTC 嵌入（Connectionist Temporal Classification 嵌入），从而捕捉语言模型层面的信息。
3. 特征融合：通过门控机制（gating mechanism）将方言特征与 ASR 嵌入进行合并，再送入一个注意力编码器（attention encoder）来精细化融合后的表示。
4. 特征增强：将学习到的融合嵌入与 Conformer 的输出拼接，作为增强后的 ASR 特征，从而同时提升识别准确率和方言区分能力。

该模型在涵盖 8 种印度语言、33 种方言的数据集上进行了评估。实验结果如下：

• 平均方言识别准确率（DID accuracy）达到 81.63%；
• 平均字符错误率（CER）为 4.65%；
• 平均词错误率（WER）为 17.73%。

这些结果充分证明了所提方法在联合 ASR-DID 建模上的有效性。

关键要点

• 提出了一种端到端的多模态联合学习框架，将 ASR 和 DID 任务整合在同一模型中，避免单独优化导致的性能妥协。
• 采用瓶颈编码器 + Conformer 提取方言特征，同时利用 RoBERTa 编码 CTC 嵌入，实现声学与语言层次信息的互补。
• 门控机制和注意力编码器负责特征融合与精细化，再通过拼接操作将融合特征馈回 ASR 路径，实现双向增强。
• 实验覆盖 8 种印度语言、33 种方言，在低资源方言场景下取得显著优势：DID 准确率超 81%，ASR 的 WER 低于 18%。
• 方法不依赖额外标注数据（如方言标签仅用于训练 DID 分支），具备良好的扩展性。

意义与影响

该工作为低资源、多方言语言的语音处理提供了新的范式。其意义体现在：

• 打破 ASR 与 DID 的独立优化困境：通过多模态特征融合实现了两个任务的互惠增益，为类似场景（如中国方言、非洲语言等）提供了可复用的技术路线。
• 强化方言识别对 ASR 的辅助作用：精细化的方言特征能有效减少语音识别中的歧义，尤其对于发音相近的不同方言词（如印地语与乌尔都语变体）。
• 实用价值突出：平均 CER 4.65% 和 WER 17.73% 的水平在低资源语言中属于优异表现，可直接用于语音助手、方言翻译、文化遗产数字化等实际应用。
• 方法简洁且模块化：瓶颈编码器、RoBERTa 和门控注意力等组件均可独立替换或升级，便于后续研究者在此基础上进行改进。