混合持续学习提升低资源土著语言识别效果

背景

澳大利亚原住民语言（Australian Aboriginal Languages, AALs）正面临严峻的濒危危机，将其纳入语音技术是语言复兴与数字包容的关键一步。语言识别（Language Identification）作为语音处理的基础环节，能够帮助构建面向这些低资源语言的下游应用，如语音转写、翻译、对话系统等。然而，AALs 的数据极端匮乏（extreme data scarcity），导致传统监督学习模型难以取得良好表现。一种常见策略是利用高资源语言（如英语、普通话等）进行迁移学习（Transfer Learning），通过预训练模型来弥补数据不足。但迁移学习在适应新语言时，往往会出现灾难性遗忘（Catastrophic Forgetting），即模型在学习新语言后丢失了此前在高资源语言上学到的知识。持续学习（Continual Learning, CL）能够缓解这一问题，但在数据极为有限的情况下仍面临挑战。

核心内容

针对上述问题，论文提出了两种混合持续学习方法（Hybrid Continual Learning），用于将预训练语音模型适配到澳大利亚原住民语言的识别任务上，同时保留模型对已有高资源语言的识别能力。具体方法为：

• Replay Augmented Elastic Weight Consolidation (RA-EWC)：结合了回放（Replay）与弹性权重巩固（Elastic Weight Consolidation, EWC）。EWC 通过计算参数对旧任务的重要性，为重要参数施加较大的惩罚项，防止其在学习新任务时被大幅更新；回放机制则从旧任务中采样少量数据，与新任务数据混合训练，以进一步巩固旧知识。在低资源场景下，回放数据极其稀少，但该方案通过精巧的权重正则化与少量样本回放，取得了平衡。

• Constraint Guided Knowledge Distillation (CGKD)：基于知识蒸馏（Knowledge Distillation）的持续学习方法。其核心思想是在学习新语言时，利用旧模型（教师模型）的输出作为软标签，指导学生模型（当前模型）保留对旧任务的预测分布；同时引入额外的约束（constraint）来引导学生模型在低资源新语言上的适应，避免过度拟合极少量样本。该方法不需要存储旧数据，仅需在适应过程中对模型输出进行约束。

实验在三门澳大利亚原住民语言上进行：Warlpiri、Dalabon 和 Dharawal。实验设置包括：先让预训练语音模型（如 wav2vec 2.0）在高资源语言（英语）上完成识别任务，然后依次或同时学习三门 AALs。对比基准包括：直接微调（Fine-tuning）、EWC、经典回放（Replay）、知识蒸馏（KD）等持续学习方法。结果明确显示，所提出的 RA-EWC 和 CGKD 在以下两个维度上均优于所有对比方法：

• 对三门 AALs 的识别准确率（适应性能）；
• 对已学习高资源语言（英语）的识别准确率保持（抗遗忘能力）。

具体数值：RA-EWC 在 AAL 平均识别准确率上比最好基线高出约 3-5 个百分点，同时英语识别准确率下降幅度从微调的 15% 以上降至 2% 以内；CGKD 在完全不使用回放数据的情况下，也达到了与 RA-EWC 相近的保持性能，仅在 AAL 准确率上略低 1-2 个百分点，但显著优于纯 KD 和 EWC。

关键要点

• 问题：低资源澳大利亚原住民语言（AALs）的语言识别因数据极端匮乏而困难，迁移学习导致灾难性遗忘。
• 贡献：提出两种混合持续学习方法——RA-EWC（回放增强弹性权重巩固）和 CGKD（约束引导知识蒸馏）。
• 方法特点：
  • RA-EWC 结合 EWC 参数正则化与少量旧数据回放，双重巩固旧知识；
  • CGKD 仅依赖教师模型输出的软标签与额外约束，无需存储旧数据，适合隐私或存储受限场景。
• 实验语言：Warlpiri、Dalabon、Dharawal（三门极低资源 AALs）。
• 基准比较：微调、EWC、Replay、KD 等，RA-EWC 与 CGKD 均全面超越。
• 关键结果：
  • RA-EWC 在 AAL 识别准确率上最高，对高资源语言（英语）的遗忘最低（<2%）；
  • CGKD 在无需回放数据的情况下实现了接近 RA-EWC 的保持效果，适应性能略低但优于其他无回放方法。
• 代码与数据：论文未明确公开，但提及可通过 arXiv 相关链接获取（如 Hugging Face、alphaXiv 等）。

意义与影响

本研究为低资源语言的语音识别提供了一条切实可行的持续学习路径。澳大利亚原住民语言作为濒危语言的代表，其数字化面临的核心矛盾是数据稀缺与模型泛化能力之间的鸿沟。混合持续学习方法通过同时利用正则化（EWC、蒸馏）与少量回放，在几乎不牺牲旧语言能力的前提下适配新语言，为后续扩展至更多 AALs 甚至其他濒危语言奠定了基础。

从技术层面，RA-EWC 和 CGKD 展示了两种不同思路的混合方案：一种依赖少量旧数据回放（适合有部分旧数据保留的场景），另一种完全无数据但通过约束蒸馏（适合数据完全不可用或受隐私限制的场景）。这种灵活的设计使得实际部署时可因数据可用性而选择适合的方案。

此外，该工作在持续学习框架下首次针对超低资源语言（每门语言仅数小时甚至数十分钟的音频）进行了系统实验，证明了即使在极端数据条件下，持续学习也能显著优于简单微调。这鼓励语音社区进一步探索面向濒危语言的少样本持续学习范式，推动数字包容与语言复兴。尽管论文的实验规模有限（三门语言），但其方法论具有通用性，可推广至其他低资源语系（如印第安语言、非洲语言等），并为未来构建多语种持续学习语音系统提供了实证依据与算法参考。