强化学习实现数据高效的代码切换语音识别

背景

代码切换（Code-Switching）是双语或多语使用者在同一对话中交替使用不同语言的自然现象，例如在中文句子中插入英文词汇。自动语音识别（ASR）系统在处理代码切换语音时面临独特挑战：语言边界处的声学、音系和词汇模式复杂，传统单语或双语ASR模型往往在语言切换点发生识别错误。近年来，音频-语言模型（Audio-Language Models，如Qwen2-Audio）通过将语音编码与语言模型解码结合，能够通过提示（prompting）处理代码切换语音，但其解码过程并非针对代码切换优化，在语言边界处常常失败。

现有的监督微调（Supervised Fine-Tuning，SFT）方法需要大量人工标注的代码切换语音-文本对，成本高昂。而基于强化学习的方法虽然已在大语言模型领域取得显著成果（如RLHF），但在音频-语言模型上的数据高效适应尚缺乏系统研究。本文提出一种实用的、基于可验证奖励的强化学习（RL with Verifiable Rewards，RLVR）方案，结合组相对策略优化（Group Relative Policy Optimization，GRPO），旨在用极少量的代码切换数据（仅需TTS合成的语音）高效地将音频-语言模型适配到代码切换ASR任务。

核心内容

本文提出了一种数据高效的代码切换ASR适应方法——RLVR + GRPO，其核心设计包括三个组成部分：

1. 奖励设计：包含两个可验证的奖励信号。

   • 错误率奖励（Error Rate Reward）：基于词错误率（WER）或字符错误率（CER），直接衡量ASR输出的准确性，消除翻译错误（即模型将代码切换语句错误地翻译成单语）。
   • 脚本保真度奖励（Script Fidelity Reward）：惩罚错误书写系统（script contamination）——例如，将中文汉字输出为拉丁字母，或反之在期望拉丁字母的位置输出汉字。该奖励独立于错误率，专门用于抑制书写系统层面的跨语言污染，且不降低识别精度。

2. 两轮草稿-精炼流程（Two-Pass Draft-and-Refinement Procedure）：模型首轮生成一个草稿（draft），然后在第二轮对草稿进行精炼（refinement），以更好对齐语言边界。这一过程与GRPO训练结合，使得策略在迭代中学习更优的代码切换解码路径。

3. 训练数据策略：仅使用文本转语音（TTS）合成的代码切换语音作为训练数据，无需人工录制。这大大降低了数据采集成本，并允许灵活控制语言对和代码切换模式。

实验设置以Qwen2-Audio作为可复现的测试平台，覆盖10个语言对（包括同语系和跨语系组合）。在训练中，使用GRPO优化策略，并比较了两种配置：

• RLVR + 10% TTS数据
• LoRA SFT + 100% TTS数据（全量数据）

主要结果：

• 在10个语言对上，仅用10% TTS数据进行RLVR训练，性能即可匹配（甚至在某些语言对上超越）在全量数据上进行的LoRA SFT。
• 在类型学距离较远的语言对（如汉英、阿拉伯语-法语等）上，RLVR的增益最为显著。
• 错误率奖励有效消除了翻译错误（模型不应将代码切换语句翻译成单语）；脚本保真度奖励在不损失精度的前提下，大幅减少了脚本污染（如将中文汉字识别成拉丁字母）。
• 这些增益能够零样本（zero-shot）迁移至一个真实人类录制的代码切换语料库（名为CS-Fleurs），表明方法对自然语音的泛化能力良好。

论文还提供了详细的实验配置和结果文件（如csfleurs_read_test_all_rewards_10pct_sampling.json等），方便复现。

关键要点

• 本文首次将基于可验证奖励的强化学习（RLVR）与组相对策略优化（GRPO）成功应用于代码切换ASR的数据高效适应。
• 两个奖励信号分工明确：错误率奖励负责识别准确性，脚本保真度奖励专门抑制书写系统混淆；两者组合不产生负面干扰。
• 只用10%的TTS合成数据训练RLVR，效果即可与100%数据上的LoRA SFT持平，尤其对类型学距离大的语言对提升明显。
• 两轮草稿-精炼流程增强了模型在语言边界处的解码连贯性。
• 所有代码切换训练数据完全由TTS合成生成，避免了昂贵的人工标注；零样本迁移到真实人类语音（CS-Fleurs语料库）证明了方法的实践可行性。
• 实验基模型为Qwen2-Audio，覆盖10个语言对，结果具有广泛的可推广性。
• 该方案可视为RLVR在音频-语言模型领域的首次系统性应用，为后续研究提供了可复现的基线（附带完整推理和评估数据文件）。

意义与影响

• 技术意义：提供了一种低成本、高数据效率的代码切换ASR适应范式。传统SFT需要大量人工转录的代码切换数据，而本文方法仅需TTS生成的合成语音（廉价的文本+声码器即可生成），并利用RLVR在少量数据上达到甚至超越全量监督训练的性能。这极大降低了代码切换ASR在资源稀缺语言对上的开发门槛。
• 理论贡献：展示了将可验证奖励（而非基于人类反馈的奖励模型）与组相对策略优化结合的有效性，为音频-语言模型的无监督/半监督微调开辟了新路径。脚本保真度奖励的引入是新颖的设计，可广泛用于任何涉及多书写系统的多语言ASR任务。
• 实践影响：Qwen2-Audio等开源音频-语言模型现在可以借助此方法快速适配特定双语场景，例如中英混合的客服电话、多语会议记录等。零样本迁移到真实人类语音意味着训练环境可以完全在合成数据上进行，而推理时对真实语音有良好鲁棒性。
• 未来方向：该方法可扩展到更多语言对，以及更复杂的多步推理场景（如代码切换+口音变异）。奖励设计可进一步泛化到其他模态（如视觉-语言），两轮草稿-精炼策略也有潜力用于语音翻译、语音对话等任务。