如何针对特定语言、领域或口音微调 Nemotron 3.5 ASR

背景

在构建需要语音转录（Speech-to-Text）的产品时，开发者往往面临四大技术壁垒，这些壁垒构成了当前多语言语音识别（ASR）领域的痛点：

1. 多语言税（The Polyglot Tax）：为了支持多种语言，团队不得不拼接 40 个不同的模型或 40 个不同供应商的 API。这导致基础设施变得臃肿，每个集成都有各自的特性、延迟特征和计费模式，维护成本极高。
2. 流式处理与准确率的权衡：实时字幕需要低延迟，但大多数“流式” ASR 系统通过反复处理重叠的音频窗口来模拟实时效果。这不仅消耗大量计算资源，还增加了延迟。一旦降低延迟，准确率便会断崖式下跌。
3. 后处理流水线复杂：原始 ASR 输出通常是无标点、全小写的文本块。开发者必须挂载第二个模型来进行标点恢复和大小写校正，增加了系统的复杂性。
4. “已知语言”假设的限制：许多系统要求预先指定输入语言。然而，在客户服务场景中，通话者可能在句子中间切换语言（如英语与西班牙语混用），这种假设在此类场景下失效。

NVIDIA 推出的 Nemotron 3.5 ASR 旨在通过单一模型解决上述所有问题，实现多语言、低延迟、高精度且无需后处理的语音识别。

核心内容

1. 单一模型，覆盖 40 种语言区域

Nemotron 3.5 ASR 是一个拥有 6 亿参数（600M parameters）的检查点（Checkpoint），能够直接转录以下 40 种语言/区域变体，无需针对每种语言部署单独模型或进行模型切换：

• 英语（美国/英国）、西班牙语（美国/西班牙）、德语、法语（法国/加拿大）、意大利语、阿拉伯语、日语、韩语、葡萄牙语（巴西/葡萄牙）、俄语、印地语、土耳其语、越南语、荷兰语、乌克兰语、波兰语、芬兰语、普通话、捷克语、保加利亚语、斯洛伐克语、瑞典语、克罗地亚语、罗马尼亚语、爱沙尼亚语、丹麦语、匈牙利语、挪威书面语、挪威新挪威语、希伯来语、希腊语、立陶宛语、拉脱维亚语、马耳他语、斯洛文尼亚语和泰语。

2. 真正的实时流式处理

该模型基于 Cache-Aware FastConformer 编码器构建。

• 传统痛点：传统的“缓冲”流式处理在每个步骤中都会重新处理重叠的音频块，导致重复计算。
• Nemotron 方案：编码器缓存来自之前帧的自注意力（self-attention）和卷积激活状态。当新音频到来时，仅计算真正新的部分，不重新计算任何内容。
• 结果：每个音频帧仅处理一次，无重叠。这显著降低了计算量和端到端延迟，且未牺牲准确率。

3. 原生标点与大小写恢复

模型直接输出生产就绪的文本，包含正确的大小写、逗号、句号、问号等。无需额外的标点恢复步骤。

4. 灵活的语言条件控制

用户可以通过两种方式运行模型：

• 指定语言：当已知输入语言时，设置 target_lang=en-US，通常能获得最佳准确率。
• 自动检测：当语言未知时，设置 target_lang=auto，模型会自动检测语言并进行转录。

5. 技术架构详解

• 编码器：24 层的 Cache-Aware FastConformer。FastConformer 是 Conformer 架构的高效演进版，具有线性可扩展的注意力机制。“缓存感知”特性是其流式处理的核心，通过复用历史帧的状态实现高效计算。
• 解码器：RNNT（循环神经网络转录器）。RNNT 是流式 ASR 的主力解码器，随着音频帧的输入逐帧输出文本，非常适合实时转录。
• 训练数据：模型在涵盖所有支持语言的大规模语音数据上训练，数据混合了公开和专有数据，并规范化为带标点、正确大小写的文本。

6. 关键超参数：att_context_size

流式 ASR 的核心权衡在于“何时发出文本”与“模型能窥视多少未来音频”。Nemotron ASR 通过 att_context_size 暴露这一控制点：

• 同一检查点覆盖整个频谱。
• 用户可以在推理时选择操作点，无需重新训练。
• 例如：[56, 3] 表示使用 56 帧上下文和 3 帧前瞻。

7. 微调指南：针对特定语言、领域或口音

虽然 Nemotron 3.5 ASR 开箱即用效果强劲，但在长尾语言、特定领域词汇或口音方面仍有提升空间。文章以希腊语和保加利亚语为例，展示了微调流程：

微调的价值场景：

• 长尾语言：预训练数据较少的语言获益最大。
• 领域专业知识：医疗、法律、金融或技术词汇。
• 口音与方言：电话语音、远场、车载环境或特定说话人群。
• 新语言：引导尚未覆盖的语言区域。

微调工作流（五步法）：

1. 数据准备：使用目标语言的 tarred 语音数据（无需解压，由 NeMo/Lhotse 高效流式读取）。确保每个片段带有 target_lang 标签，且转录文本风格（标点、大小写）与基础模型一致。
2. 训练：从基础检查点（init_from_nemo_model）开始微调，使用相同的 Cache-Aware FastConformer-RNNT 配方，并根据每个片段的语言标签进行条件训练。
3. 评估：在从未见过的保留集上进行评估，使用部署时的低延迟流式设置（例如 att_context_size=[56,0]，即 80ms 块，0ms 前瞻）。
4. 迭代：在语言表现弱的地方增加数据并重新训练。
5. 部署：导出并部署微调后的检查点。

代码示例： 使用 NeMo 进行推理时，需克隆 NeMo 仓库并指向音频文件。

• 已知语言转录：

  python ${NEMO_ROOT}/examples/asr/asr_cache_aware_streaming/speech_to_text_cache_aware_streaming_infer.py \
  model_path=${MODEL_PATH} \
  dataset_manifest=${MANIFEST_PATH} \
  output_path=${OUTPUT_FOLDER} \
  target_lang=es-ES \
  att_context_size="[56,3]" \
  strip_lang_tags=true
  

• 自动语言检测： 将 target_lang 改为 auto 即可。

数据格式说明：

• 音频应为单声道 .wav 格式。
• Manifest 文件为标准 NeMo JSON-lines 格式：

  {"audio_filepath": "/path/to/clip.wav", "duration": 4.27, "text": "reference transcript"}
  

• 模型会在每个完成句子的末尾自动预测 language_tag（如 <en-US>）。设置 strip_lang_tags=True 可移除标签以提高可读性。

关键要点

• 统一架构：Nemotron 3.5 ASR 是一个 6 亿参数的单一模型，支持 40 种语言区域，消除了多语言部署的复杂性。
• 高效流式处理：基于 Cache-Aware FastConformer 编码器，通过缓存历史状态避免重复计算，实现真正的低延迟流式转录，无需像传统方法那样反复处理重叠窗口。
• 原生后处理：直接输出带标点和大写规范的文本，省去了独立的标点恢复模型。
• 灵活控制：支持指定语言（target_lang）