基于 LLM 生成“近失样本”的对比训练：提升代码切换语音识别的鲁棒性

背景

自动语音识别（ASR）在处理单语语音时已取得显著进展，但在面对**代码切换（Code-Switching, CS）**场景时仍面临巨大挑战。代码切换是指说话人在同一次话语中交替使用两种或多种语言的现象（例如中文与英文混合）。这种现象在移民社区、多语言工作环境以及社交媒体中极为常见。

传统的 ASR 模型通常假设输入语音的语言一致性，或者仅通过简单的多语言数据混合进行训练，难以捕捉语言切换点（Switch Points）附近的复杂声学特征和上下文依赖关系。特别是在切换发生的区域，模型容易因语言模型的置信度冲突或声学特征的突变而产生识别错误。现有的解决方案往往缺乏对“切换点”这一关键区域的针对性优化，导致在混合语言环境下的错误率（WER）依然居高不下。

核心内容

本文提出了一种名为基于兴趣点（Point-of-Interest, POI）感知的对比训练框架，旨在通过增强模型对代码切换关键区域的识别能力，提升整体鲁棒性。该研究的核心逻辑在于：不试图在整个语料库中均匀地优化模型，而是聚焦于语言切换发生的特定区域（即 POI），并通过构造高质量的“困难负样本”来进行对比学习。

具体实施流程如下：

1. 识别代码切换区域（POI Detection）： 研究首先采用文献中现有的 POI 检测方法，从 ASR 的 N-best 输出结果中识别出代码切换的具体跨度（Spans）。这些区域是语言发生转换的关键节点，也是模型最容易出错的地方。

2. 构建声学合理的“近失”假设（Near-Miss Hypotheses）： 为了训练模型区分正确的切换文本和错误的切换文本，作者构建了声学上 plausible（合理/可信）但文本错误的“近失”样本。这一过程分为两步：

   • 扰动 POI：对 ASR N-best 输出中的 POI 区域进行声学层面的扰动，生成发音相似但文本不同的候选项。
   • LLM 扩展：利用大型语言模型（LLM）的能力，基于上下文扩展候选集，生成更多符合语言习惯但非标准的文本变体。

3. 筛选困难负样本（Hard Negatives Filtering）： 并非所有生成的错误文本都适合作为训练负样本。研究引入了声学、音素（Phonemic）和文本约束条件进行过滤，仅保留那些“困难但合理”的负样本。这些样本在声学特征上与正确文本极其相似，但在语义或拼写上存在细微差别，迫使模型学习更精细的判别边界。

4. 模型微调与损失函数设计： 最终，研究使用 LoRA 技术对 Whisper-small 模型进行微调。训练目标结合了两种损失函数：

   • POI 加权的交叉熵锚点目标（POI-weighted cross-entropy anchor objective）：加强对切换点区域的关注。
   • 多负样本对比排序损失（Multi-negative contrastive ranking loss）：利用上述筛选出的困难负样本，通过对比学习拉近正确样本与锚点的距离，推远错误样本与锚点的距离。

实验在两个主要的代码切换数据集 CS-FLEURS (cmn-eng)（中文-英文）和 ViMedCSS (vie-eng)（越南语-英文）上进行。结果表明，该方法相比标准的 LoRA 微调，在一般错误率和代码切换感知错误率上均实现了超过 2% 的稳定降低。

关键要点

• 聚焦关键区域：不同于端到端的均匀训练，该方法显式地识别并聚焦于代码切换发生的“兴趣点”（POI），解决了切换区域特征模糊的问题。
• LLM 辅助的数据增强：创新性地利用 LLM 生成和扩展候选文本，结合声学扰动，构建了高质量的“近失”负样本库。这解决了传统方法中负样本质量不高或多样性不足的问题。
• 多约束筛选机制：通过声学、音素和文本三重约束过滤负样本，确保训练过程中的“困难负样本”既具有挑战性（Hard Negatives），又在声学上是合理的，避免了无效噪声干扰。
• 对比学习与微调结合：在 Whisper-small 基础上，结合 LoRA 高效微调技术，并引入 POI 加权交叉熵与多负样本对比损失，显著提升了模型对混合语言边界的判别能力。
• 实证效果显著：在 cmn-eng 和 vie-eng 两个跨语言对的基准测试中，该方法在通用和特定场景下的错误率均下降了 2% 以上，证明了其泛化能力和有效性。

意义与影响

这项研究为多语言语音识别，特别是代码切换场景下的 ASR 优化提供了新的思路。其意义主要体现在以下几个方面：

1. 突破多语言识别瓶颈：代码切换是真实世界语音交互中的常态，而非边缘案例。该框架通过针对性优化切换点，直接提升了 ASR 系统在复杂多语言环境下的实用性，对于智能助手、实时字幕和多语言客服系统具有重要应用价值。
2. LLM 在语音任务中的新范式：研究展示了如何利用 LLM 的语言生成能力来辅助语音识别任务，特别是通过生成“近失”样本来增强对比学习。这种“语音-文本”跨模态的数据增强策略，为后续研究如何利用生成式 AI 提升传统感知任务提供了借鉴。
3. 高效微调的进一步验证：结合 LoRA 和对比学习，证明了在参数量较小的模型（如 Whisper-small）上，通过高质量的数据构造和损失函数设计，可以达到甚至超越更大模型或全量微调的效果，降低了多语言 ASR 的部署成本。
4. 开源与可复现性：随着 arXiv 上相关代码和数据集的潜在开放（如提及的 Hugging Face、alphaXiv 等工具关联），该框架有望被社区快速复现和改进，推动多语言语音识别技术的标准化发展。

总之，这项工作不仅是一个算法改进，更是对“如何在数据稀缺或分布不均的多语言场景中，利用生成式 AI 增强判别式模型”这一核心问题的有力回答。