为什么从录音中移除“um”比听起来更难？

背景

在口语表达中，填充词（fillers）如“um”、“uh”、“er”以及它们的拉长变体（如“ummmm”、“uhhhh”）是语言学家所称的“不流畅性”（disfluencies）。虽然这些声音在自然对话中很常见，但在录制语音内容（如播客、有声书或采访）时，它们往往被视为需要清理的噪音。

许多语音创作者表示，手动剪辑这些填充词是一项极其痛苦的工作。为了解决这一痛点，开发者构建了一个名为 erm 的开源工具，旨在自动化这一过程。该工具通过命令行接口运行，输入音频文件后，自动生成清理后的 .wav 文件和包含剪辑点的 JSON 列表。

然而，实现这一目标远比“转录音频 -> 查找填充词 -> 剪切音频”这一朴素思路要复杂得多。简单的拼接会导致波形断裂、背景噪音突变以及听感上的瑕疵。erm 的核心价值在于它通过一系列复杂的算法修复了这些常见问题。

核心内容

1. 朴素方法的局限性

如果仅依赖带有时间戳的语音转文字模型（如 Whisper）来定位并剪切填充词，通常只能完成约 60% 的工作，且结果往往比原始录音更差。主要原因有三：

• 转录遗漏：Whisper 等模型在训练时主要基于整洁的书面语料，因此倾向于“自动修正”或忽略填充词。这意味着很多“um”或“uh”根本不会出现在转录文本中，导致无法匹配。
• 波形断裂：在任意时间点剪切音频会在波形上产生微小的阶跃（step）。人耳会将这种阶跃感知为刺耳的“咔哒”声（click）。
• 背景噪音不匹配：即使剪切点本身干净，剪切点前后的背景底噪（room tone）往往存在细微差异，导致每次编辑都能听到轻微的噪音跳变。

2. 技术栈选择：Whisper 与 faster-whisper

erm 基于 OpenAI 的开源语音转文字模型 Whisper。为了平衡速度与资源占用，它使用了 faster-whisper 这一重新实现版本，其运行速度比参考实现快数倍，且内存占用更低，但模型权重和输出结果保持一致。

• 默认模型：medium.en，在速度和准确性之间取得平衡。
• 推荐模型：large-v3。尽管计算成本更高，但它对填充词的识别能力显著更强，值得投入额外的算力。
• 关键配置：必须禁用 Whisper 默认的“清理转录”行为，强制其保留原始口语中的填充词标记。

3. 检测机制：四重扫描策略

为了克服单一转录模型的不足，erm 采用了四道独立的检测流程，并将结果合并：

1. Whisper 转录匹配：识别标准的填充词（um, uh, er 等）。对于拉长音（如 ummmm），系统会动态匹配词干（um）。
2. 间隙填充物检测（Gap fillers）：Whisper 有时会将填充词完全标记为静音。如果两个转录词之间存在异常长的停顿（默认超过 350ms），erm 会检查该“静音”片段内是否实际存在声音。如果有，则将其识别为被 Whisper 遗漏的填充词。
3. 词内隐藏填充物（Fillers hiding inside a word）：Whisper 有时会将填充词与相邻单词粘连（例如将 "in, uhhhhh" 识别为一个单独的 "in" 标记）。erm 会检查过长的单一标记词，通过检测音频能量的短暂低谷将其拆分，并根据合理发音时长判断哪部分是真实单词，哪部分是填充词。
4. 异常长词检测（Words that are much too long）：如果某个词的持续时间远超其文本长度应有的发音时间，其尾部可能包含填充音。erm 会扫描尾部是否存在发声，并可选地执行音高测试：真正的元音拉长（如 uhhhhh）具有稳定、简单的声学形状，而真实语速缓慢的说话声则包含不断变化的声音过渡。音高测试可防止误剪慢速说话者。

4. 剪辑点优化：消除咔哒声

直接在波形任意点剪切会导致听感瑕疵。erm 通过两步微调剪辑点：

1. 滑动至静音区：允许剪辑点在原始位置附近滑动（最多 60ms），寻找音频能量最低的“安静时刻”。此滑动范围受到严格限制，确保不会侵入相邻的真实语音。
2. 对齐零交叉点：从选定的安静点出发，将剪辑点精确对齐到波形穿过零点（zero-crossing）的时刻。将两个零交叉点拼接，可以生成连续且无阶跃的波形，从而消除咔哒声。

此外，如果两个相邻剪辑点之间残留的音频片段过短（约 120ms），erm 会将其合并为一个更大的剪辑，因为这种微小的片段在平滑处理后只会产生难以听清的“哔”声。

5. 拼接与背景噪音处理

• 交叉淡化（Crossfade）：erm 不使用简单的硬拼接，而是使用 ffmpeg 进行交叉淡化。重叠部分让一段音频淡出，另一段淡入。重叠长度是动态计算的：短剪辑使用短重叠，长剪辑使用长重叠（限制在 50ms 至 120ms 之间），且重叠部分绝不会回溯到真实单词的起始处，以免模糊语音。
• 房间底噪覆盖（Room tone）：为了解决剪切点前后背景噪音不匹配的问题，erm 会在原始录音中自动寻找一段安静的“房间底噪”样本，并以低音量循环播放在整个输出音频的底层。这样，无论剪切点在哪里，背景都是相同的，微小的不匹配会被稳定的底噪掩盖。

6. 降噪与时序策略

降噪处理会平滑音量波动和音高变化，而这些细节正是检测填充词的关键线索。因此，降噪的时机至关重要。erm 提供四种模式，默认推荐 hybrid 模式：

• 检测阶段：在原始音频上进行，以保留所有声学线索。
• 剪辑阶段：在降噪后的副本上进行，以确保拼接后的听感平滑。

其他模式如 pre（先降噪再检测）效果最差，因为降噪会掩盖填充词的特征。

7. 验证与边界

• 验证机制：erm 提供 validate 子命令，通过三个检查确保输出质量：文件可打开、输出时长符合预期、重新转录后无填充词残留。
• 保留内容：erm 不会移除 "like"、"you know"、"I mean" 等填充短语，因为它们承载了实际的语义功能，自动移除会改变原意。其原则是：只移除声音，不移除语言。
• 不处理内容：重复单词、错误开头或长时间思考停顿被视为“更 messy 的语音”而非噪音，不在自动清理范围内。

关键要点

• 技术难点：移除填充词不仅是文本匹配问题，更是信号处理问题。简单的剪切会导致波形阶跃（咔哒声）和背景噪音跳变。
• 检测创新：通过结合 Whisper 转录与直接音频分析（间隙检测、词内拆分、音高测试），解决了模型遗漏填充词的问题。
• 音质优化：
  • 通过滑动剪辑点至零交叉点消除咔哒声。
  • 使用动态长度的交叉淡化平滑拼接。
  • 叠加循环房间底噪掩盖背景噪音的不连续性。
• 降噪策略：采用“检测用原声，剪辑用降噪声”的混合模式，避免降噪干扰检测算法。
• 语义边界：工具严格区分“声音噪音”（um, uh）和“语言功能词”（like, you know），避免改变说话者的原意。

意义与影响

erm 的出现展示了 AI 工具在解决具体工程痛点时的深度。它不仅仅是一个简单的“删除填充词”脚本，而是一个融合了自然语言处理（