说话人日志引导Qwen-ASR适配多语言双人对话语音识别

背景

多说话人对话语音识别（Multi-Talker Conversational Speech Recognition）是语音领域长期存在的难点，尤其在多语言混合场景下，说话人重叠、语速变化、口音差异以及语言切换等问题使得传统ASR系统性能大幅下降。MLC-SLM 2026 Challenge 的 Task 1 专门针对“多语言双说话人对话语音”设计，要求系统同时完成说话人日记（speaker diarization）和语音识别。基线模型 Qwen3-ASR-1.7B（基于 Qwen-ASR 系列）在未优化的条件下表现有限。本文提出了一套模块化解决方案，以说话人日记前端引导 ASR 模型适配，并在多个阶段进行针对性优化，显著提升了多语言双说话人场景下的识别准确率。

核心内容

本文所描述的系统整体架构由两个主要模块组成：一个模块化的说话人日记前端（speaker diarization front end），以及一个经过挑战赛数据适配的 Qwen3-ASR-1.7B 识别器。

说话人日记前端依次执行以下步骤：

1. 语音活动检测（VAD）
2. 子段生成（subsegment generation）
3. CAMPPlus 说话人嵌入提取
4. 双说话人谱聚类（two-speaker spectral clustering）
5. 基于 RTTM 格式的音频分割

经过日记处理后，得到带有说话人属性（speaker-attributed）的音频片段。这些片段进一步按语言或区域进行分组，然后送入适配后的 ASR 模型进行解码。

ASR 适配包含三个阶段：

• 监督全微调（Supervised Full Fine-tuning）：首先在官方提供的训练数据上对 Qwen3-ASR-1.7B 进行全参数微调。
• LoRA 微调（LoRA Fine-tuning）：利用一个基于 TTS 的三管道合成语音增强框架（three-pipeline TTS-based synthetic speech augmentation framework）生成大量合成语音数据，并在该数据上应用 LoRA 低秩适配微调。
• GRPO 强化学习（GRPO Reinforcement Learning）：最后，使用 GRPO 策略对模型进行强化学习优化，奖励信号基于 WER（词错误率）和 CER（字符错误率）的降低，同时惩罚幻觉（hallucination）、重复（repetition）以及长度偏差（length deviation）。

实验结果显示，在官方开发集上，完整系统取得了平均 tcpMER（时间点字符错误率？原文为 tcpMER，保留）为 23.70，相比原始发布的 Qwen-ASR-1.7B 性能绝对下降了 6.83 个百分点。在最终的评测集上，系统平均 tcpMER 达到 17.97。消融实验表明，监督微调贡献了最大的性能增益，而合成语音 LoRA 适配和强化学习进一步提升了系统的鲁棒性。

关键要点

• 系统采用模块化设计，将说话人日记与 ASR 模型解耦，便于各部分独立优化和替换。
• 日记前端综合利用 VAD、CAMPPlus 嵌入、谱聚类和 RTTM 分割，实现了针对双说话人场景的高效分段。
• ASR 适配包含三个阶段：监督全微调、LoRA 微调（基于三管道 TTS 合成数据）、GRPO 强化学习。
• 三管道 TTS 合成语音增强框架为 LoRA 阶段提供了大量多样化训练数据，弥补了真实标注数据的不足。
• GRPO 强化学习的奖励函数同时考虑识别准确率（WER/CER）、幻觉、重复和长度偏差，兼顾正确性与生成质量。
• 在开发集上，完整系统的 tcpMER 从原始 Qwen-ASR-1.7B 的约 30.53 降至 23.70（绝对降低 6.83）。
• 最终评测集上系统 tcpMER 进一步降至 17.97，验证了方法的泛化能力。
• 消融实验明确表明监督微调是性能提升的最大来源，合成数据 LoRA 和强化学习提供了额外稳定增益。

意义与影响

该工作为多语言双说话人对话语音识别提供了一套可复现的实用框架。将说话人日记前端与大型预训练 ASR 模型 Qwen3-ASR-1.7B 相结合，并通过三阶段微调策略（全微调 + 合成数据 LoRA + 强化学习）显著降低了错误率。其对合成数据扩增和强化学习调优的运用，展示了在标注数据稀缺场景下进一步提升识别鲁棒性的有效路径。此外，模块化的设计使得各组件可独立改进（如更换更优的说话人嵌入或聚类算法），也为后续研究提供了清晰的基准。该系统的成功证明了在挑战性极高的多语言对话场景中，结合合理的语音前端与精心设计的 ASR 适配流程，可以大幅缩小与理想单说话人场景的性能差距。