Whisper模型实现巴西葡语韵律边界自动切分

背景

韵律边界（prosodic boundaries）是语音中用于分割言语单元的重要线索，通常由声学特征（如停顿、基频变化）和语言证据（如句法结构、语义）共同决定。自动韵律分割旨在从语音信号中识别这些边界，对语音合成、语音识别、自然语言理解等任务具有重要意义。近年来，基于深度学习的方法在英语上取得了显著成果，但针对巴西葡萄牙语（Brazilian Portuguese, BP）的研究仍主要依赖规则或传统机器学习方法，缺乏基于大规模预训练模型的端到端方案。本文提出了一种名为 SAMPA 的 Whisper-based 分段器，专门针对巴西葡萄牙语进行韵律边界检测，填补了这一空白。

核心内容

SAMPA 的核心思路是微调 OpenAI 的 Whisper large-v3 模型，使其在转录巴西葡萄牙语语音的同时，在文本中插入显式的终端韵律边界标记（terminal prosodic boundaries）。具体方法如下：

• 数据集：使用 NURC-SP（巴西圣保罗城市口语语料库）中经人工标注的录音，标注了韵律边界位置。训练集和验证集来自该数据集，测试集包括 NURC-SP 的留置分割以及一个分布外（out-of-distribution）测试集 MuPe-Diversidades，后者包含不同口音和录音条件的语音。
• 微调：在 Whisper large-v3 基础上，将输出词汇表扩展增加两个特殊标记：一个表示“边界结束”（如句末停顿），另一个可能表示“边界不存在”（但论文未明示，实际上模型通过插入边界标记来输出分段结果）。整个模型以端到端方式训练，输入是语音频谱，输出是带边界标记的文本。
• 实验配置：作者测试了多种训练和测试时的滤波配置，包括是否对输出进行后处理（如移除错误的短停顿）、是否使用温度采样等。最终表现最好的模型在 NURC-SP 测试集上达到 F1=0.731，在 MuPe-Diversidades 上达到 F1=0.796，显示出较强的泛化能力。
• 分析验证：为了解释模型如何检测边界，作者进一步进行了 n-gram 分析和声学-视觉分析。n-gram 分析表明，模型倾向于在句法边界（如短语边界、从句边界）后插入标记，与形态句法线索一致。声学-视觉分析显示，模型输出的边界位置与基频重置（pitch reset）、无声停顿等声学特征高度吻合，证明其同时利用了语义、句法和韵律线索。

关键要点

• 模型名称：SAMPA（Whisper-based segmenter for Brazilian Portuguese prosodic boundaries）。
• 基础模型：Whisper large-v3，通过微调使其具备韵律边界标注能力。
• 数据集：
  • 训练/验证：NURC-SP 人工标注录音。
  • 测试：NURC-SP 留置集 + MuPe-Diversidades（分布外）。
• 性能指标：
  • NURC-SP 留置测试集 F1=0.731。
  • MuPe-Diversidades F1=0.796。
• 技术特点：
  • 端到端，无需显式声学特征提取。
  • 通过扩展词汇表加入边界标记，模型直接输出带边界的文本。
  • 支持不同训练/测试时配置（如后处理滤波）以优化性能。
• 分析结论：
  • n-gram 分析显示模型遵循形态句法线索。
  • 声学-视觉分析证实模型捕捉了基频重置、停顿等韵律线索。
• 对比现有方法：此前巴西葡萄牙语的韵律分割主要依赖规则或传统 ML（如 HMM、CRF），SAMPA 是首个基于 Transformer 的端到端方法，且性能有竞争力。

意义与影响

1. 填补技术空白：将现代预训练语音模型（Whisper）首次应用于巴西葡萄牙语的韵律分割，展示了 Transformer 架构在低资源语言韵律任务中的潜力。
2. 跨分布泛化能力：在分布外数据集（MuPe-Diversidades）上获得更高 F1，说明模型学习了通用的韵律规律，而非记忆特定语料库的统计模式。
3. 可解释性贡献：通过 n-gram 和声学-视觉分析，验证了模型决策与语言学理论（如句法-韵律映射）的一致性，为黑箱模型提供了解释路径。
4. 实用价值：SAMPA 可直接用于语音合成（生成自然停顿）、语音识别（提升断句准确率）和口语对话系统，尤其适合巴西葡萄牙语的应用场景。
5. 方法迁移性：该微调策略可推广到其他语言的韵律分割，只需提供相应带标注的语音数据，即可复用 Whisper 的多语言能力。