COALA：对比正则化与偏置分数提升ASR上下文偏置
速览
COALA是一种用于自动语音识别的鲁棒上下文偏置框架，通过将语音增强语言模型的潜在表示映射到判别空间，量化音频片段与候选实体的匹配强度。它从大规模偏置列表中准确识别目标实体，并解决了之前研究在多目标语句（多个罕见词共现）时的训练崩溃问题。在LibriSpeech基准测试上，COALA在不同规模的偏置列表中均取得了优越的上下文偏置性能。
AI 深度解读
背景
在自动语音识别（ASR）领域，上下文偏置（Contextual Biasing）旨在将外部知识（如用户自定义的词表、领域专有实体）集成到模型中，以提升对稀有或特定领域词汇的识别准确率。然而，实际部署中常面临两个挑战：一是大规模偏置列表中包含大量候选实体，但语音的上下文窗口有限（尤其在语音增强语言模型，即 SLM 中），如何从中精准定位相关目标实体是核心难题；二是多目标话语场景——同一段音频中出现多个罕见词——容易导致之前方法的训练崩溃（training collapse），即模型无法有效区分多个共存的目标，甚至退化为无意义的均衡状态。针对这些问题，现有方法往往缺乏鲁棒性，尤其在列表规模增大、实体密集的情况下性能显著下降。
核心内容
本文提出 COALA（Contextualized ASR Leveraging Biasing Scoring），一个鲁棒的上下文偏置框架，专为增强语音增强语言模型（SLM）在复杂多实体场景下的表现而设计。其核心思路包含两个关键组件：
-
判别式匹配空间映射：考虑到 SLM 的上下文窗口限制，直接对整个偏置列表进行注意力处理会引入大量无关噪声。COALA 将 SLM 的潜在表示（latent representations）映射到一个专门的判别式空间（discriminative space），在该空间中量化音频片段与每个候选实体之间的匹配强度。这一映射通过对比正则化（Contrastive Regularizer）实现——拉近匹配的音频-实体对，推远不匹配的对，从而得到一个高区分度的偏置分数（Biasing Score），用于指导后续识别中的实体选择。
-
多目标话语的稳定性：先前研究在处理包含多个罕见词共现的话语时，往往面临训练崩溃，表现为模型对所有候选输出趋向均匀分布，无法突出真实目标。COALA 通过特定的偏置分数估计（Biasing Score Estimation）策略规避这一现象：它引入额外的损失项，强制模型在多个候选实体中保持对真实目标的判别性，同时避免过拟合到单一实体，从而在多个目标共存时仍能稳定优化。
实验在 LibriSpeech 基准上进行，结果表明 COALA 在不同偏置列表规模（从几十到上千候选）下均持续展现出优越的上下文偏置性能，尤其在大规模列表和多目标场景下，相比基线模型（如传统的偏置权重拟合方法或简单的注意力机制），词错误率（WER）显著降低。
关键要点
- 问题聚焦：针对 SLM 上下文窗口有限导致的候选实体筛选难题，以及多目标话语中训练崩溃这一关键瓶颈。
- 方法创新：将 SLM 潜在表示映射到判别空间，通过对比正则化学习音频与候选实体之间的匹配强度，输出偏置分数，而非在原始表示层简单加权。
- 训练稳定：提出了针对多目标共现场景的偏置分数估计策略，有效避免了之前模型的训练崩溃现象，保证了多实体情况下的收敛质量。
- 实验验证：在 LibriSpeech 上，COALA 在不同偏置列表规模（小、中、大）下均优于现有方法，且性能差距随列表规模增大而更加明显，证明其鲁棒性。
- 命名含义：COALA 全称 Contextualized ASR Leveraging Biasing Scoring，直指其核心手段——利用偏置评分机制实现上下文化 ASR。
意义与影响
COALA 为上下文偏置 ASR 提供了一种简洁而鲁棒的解决方案。其核心贡献在于将实体筛选问题转化为判别式匹配学习，既缓解了 SLM 上下文窗口的物理限制，又解决了多目标场景下的训练不稳定性。这一框架不依赖特定的 SLM 架构，具有较好的通用性，可适配于各类语音增强语言模型。从实际应用角度看，COALA 能够显著提升语音助手、会议转录、术语密集型领域（如医疗、法律）的 ASR 识别质量，尤其是在用户自定义词表规模庞大且动态变化时。此外，对比正则化与偏置分数估计的设计思路，也为后续在更多模态（如视觉-语音联合）的上下文偏置研究中提供了可借鉴的范式。未来工作有望将其扩展到端到端流式 ASR 或更复杂的多源知识融合场景中。