← 返回信息流
技术博客arXiv cs.CL·2 小时前

分词器移植法缓解孟加拉语语音识别自回归崩溃

原标题：Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

速览

研究发现轻量ASR模型在孟加拉语上失败的原因是英文中心分词器导致自回归崩溃。提出词汇移植方法，用BanglaBERT的WordPiece分词器替换原分词器并调整嵌入矩阵。实验表明token生育率从9.16降至1.30，序列长度减少85.8%，完全缓解解码不稳定性。在882小时数据集上WER达21.54%，实时因子0.0053。该方法无需资源密集预训练，为紧凑ASR模型的跨脚本适应提供了可复现方案。

AI 深度解读

背景

轻量级语音识别模型对于边缘端部署至关重要，但诸如 Moonshine 这类高度优化的架构在处理孟加拉语等形态丰富、非拉丁语系的语言时往往表现不佳。孟加拉语属于黏着语，词形变化复杂，且使用孟加拉文字（一种元音附标文字），这对基于字节级 tokenizer 的模型提出了巨大挑战。此前的研究表明，许多预训练语音模型的 tokenizer 设计以英语为中心，导致非拉丁语文本被过度碎片化，从而在自回归解码过程中引发灾难性崩溃。这一问题在资源受限的边缘设备上尤为突出，因为解码序列长度和计算开销直接影响实时性能。

核心内容

该研究（标题：Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR）首先识别出失败的根本原因：Moonshine 模型使用的英语中心化的字节级 tokenizer（byte-level tokenizer）在处理孟加拉语时，会将单词分割成高生育率（high-fertility）的字节链——即每个孟加拉语词生成的 token 数量远多于拉丁语系语言。例如，一个孟加拉语单词可能被切分为 9.16 个 token，而类似长度的英语词通常只需 1–2 个 token。这种高生育率直接导致自回归序列长度急剧膨胀，进而引发推理过程中的自回归崩溃（autoregressive collapse），表现为解码时产生重复、乱码或无法收敛的输出。

为解决此问题，作者提出了一种新颖的词汇移植管道（vocabulary transplantation pipeline）：将 Moonshine 解码器的词汇表替换为原生的孟加拉语 WordPiece 词汇表（来自 BanglaBERT 模型），并相应地调整 token embedding 矩阵的尺寸。具体步骤包括：

  1. 移除原有的字节级 tokenizer。
  2. 加载 BanglaBERT 的 WordPiece tokenizer（已在孟加拉语文本上预训练，词汇表覆盖常用词素）。
  3. 重新初始化解码器的 token embedding 层，使其维度与新词汇表匹配，并利用 BanglaBERT 预训练的词嵌入进行热启动（warm-start）。
  4. 保持编码器（如 Moonshine 的 encoder 部分）不变，仅针对解码器进行微调（fine-tuning）。

实验在 882 小时的 Lipi-Ghor 孟加拉语数据集上进行评估。结果显示：

  • token 生育率从 9.16 大幅降低至 1.30（降低 85.8%）。
  • 自回归序列长度减少 85.8%，解码不稳定问题完全消除。
  • 修改后的架构达到 21.54% 的词错误率（Word Error Rate, WER），实时因子（Real-Time Factor, RTF）为 0.0053，即处理 1 秒音频仅需约 5.3 毫秒计算时间，满足边缘端实时要求。
  • 该方案无需从头预训练，仅需替换词汇表并微调解码器，具有可重复性和可扩展性。

关键要点

  • 问题根源：Moonshine 的字节级 tokenizer 对孟加拉语产生极高 token 生育率（9.16），导致自回归序列过长并引发解码崩溃。
  • 解决方案：词汇移植——将解码器词汇表替换为 BanglaBERT 的 WordPiece 词汇表，并重新初始化 embedding 矩阵。
  • 实验规模：在 882 小时 Lipi-Ghor 数据集上训练和评估，无额外预训练。
  • 核心指标：
    • token 生育率从 9.16 降至 1.30。
    • 序列长度减少 85.8%，完全消除自回归崩溃。
    • WER 为 21.54%，RTF 为 0.0053。
  • 适用条件：仅需修改解码器部分，编码器不变；适用于其他形态丰富、非拉丁语系的 ASR 模型迁移。
  • 可复制性：方法无需大规模预训练，仅需少量微调计算资源，为跨文字系统适应提供了通用蓝图。

意义与影响

这项研究为轻量级语音识别模型在多语言、多文字场景下的部署提供了切实可行的优化路径。传统上，为低资源语言训练专用 tokenizer 或进行全模型重新预训练成本高昂，而词汇移植方法几乎不增加训练开销，却能够彻底解决因 tokenizer 不匹配导致的解码崩溃问题。其意义在于：

  1. 消除瓶颈：揭示了字节级 tokenizer 在非拉丁语系语言中的隐藏缺陷，并给出了针对性解决方案。
  2. 提升边缘可行性：RTF 达到 0.0053 表明该模型可在边缘设备（如手机、IoT 设备）上实时运行。
  3. 可推广性：该管道不仅适用于孟加拉语和 Moonshine，理论上可推广到任何使用低生育率 tokenizer 的 ASR 模型和任意非拉丁文字系统（如阿拉伯语、印地语、泰语等）。
  4. 推动包容性 AI：有助于缩小主流语言与弱势语言之间的技术差距，让边缘端语音交互惠及更多语言社区。

该研究已于 2026 年 7 月提交至 arXiv cs.CL 预印本，目前提供 PDF 和 HTML 格式查看，相关代码与数据已在 Hugging Face、DagsHub 等平台共享（原文未提供具体链接，但提及了相关工具）。

相关推荐

查看原文 →arxiv.org