口语语言模型高效适配新加坡本地场景

背景

语音语言模型（Spoken Language Models, SLMs）将语音感知与推理能力统一在一个模型中，但如何将它们适配到特定领域仍是一个未被充分探索的问题，尤其是在原始训练数据不可访问、且应用场景需要多语言口语查询交互的情况下。本文以新加坡的「Home Team」（内政团队）为应用场景，该场景涉及新加坡四种官方语言（英语、华语、马来语、泰米尔语）的五项语音任务，包括语音问答、口音识别、性别识别等。现有 SLM 通常在大规模通用语音数据上训练，对特定领域（如执法、安全）的术语、口音、多语言混用缺乏针对性。此外，直接微调可能导致灾难性遗忘——模型在原始语音问答能力上的显著下降。因此，需要一种高效且安全的适配方法。

核心内容

本文提出了一种高效适配开源 SLM 至新加坡 Home Team 语境的方法。研究团队以开源 SLM 为基础，结合以下三个关键技术：

1. LoRA 微调：使用低秩适应（Low-Rank Adaptation, LoRA）对模型进行参数高效微调，仅更新少量参数，避免完全微调带来的计算开销和过拟合风险。
2. 替代文本问答数据集（Surrogate Text-QA Dataset）：构建了一个文本形式的问答数据集，用于在微调过程中防止灾难性遗忘。该数据集模拟原始 SLM 的通用语音问答能力，确保模型在适应新任务时不会丢失已有的知识。
3. 多任务目标与 CoBa 重加权方案的语音适配：采用多任务学习框架，并修改了 CoBa（一种基于任务冲突的梯度重加权策略）以适应语音任务。CoBa 原本用于文本多任务，本文将其扩展到语音模态，动态调整各任务损失权重，以平衡不同任务的学习。

此外，团队构建了一个大规模多语言问答数据集 HTD-multilingual-QA，包含 504,853 个样本，覆盖文本和语音两种形式，涵盖新加坡四种官方语言，专门用于训练和评估 Home Team 场景下的语音任务。

最终模型命名为 HT-Moonstone (5B)，参数量为 5B。实验结果表明：

• 在大多数任务上，HT-Moonstone 匹配或超越了规模高达其 7 倍（即 35B 参数）的 SLM。
• 在所有评估模型中，它在口音识别和性别识别任务上取得了最佳表现。
• 模型在原始语音问答能力上的损失低于 2%，即通过 surrogate 数据集有效缓解了灾难性遗忘。

关键要点

• 适配场景：新加坡 Home Team 的四种官方语言（英语、华语、马来语、泰米尔语）的五项语音任务，包括语音问答、口音识别、性别识别等。
• 核心方法：LoRA 微调 + 替代文本 QA 数据集（防止遗忘）+ 多任务目标（基于 CoBa 的语音适配重加权）。
• 数据集：HTD-multilingual-QA，504,853 个样本，文本和语音双模态，多语言。
• 模型规模：HT-Moonstone 5B 参数，但性能可匹敌或超越 35B 参数的大模型。
• 关键指标：口音和性别识别最佳；原始语音问答能力下降 < 2%。
• 开源基础：基于开源 SLM 进行适配，未使用原始训练数据。

意义与影响

本工作展示了在原始训练数据不可访问的情况下，如何高效地将通用 SLM 适配到特定领域（尤其是多语言、低资源场景）。其意义在于：

• 实践价值：为新加坡 Home Team 等安全/执法机构提供了可部署的语音模型，支持多语言口语交互，无需依赖封闭的原始训练数据。
• 方法论贡献：LoRA + surrogate 数据集 + 多任务重加权（CoBa 语音化）的组合方案，可推广到其他领域（如医疗、法律等）的 SLM 适配，具有很强的通用性。
• 效率与性能平衡：仅 5B 参数就能超越 7 倍大小的模型，证明了参数高效微调与任务适配策略的有效性，降低了部署成本。
• 灾难性遗忘缓解：通过替代文本 QA 数据集，仅损失不到 2% 的原始能力，为未来 SLM 的持续学习提供了参考。
• 数据资源：HTD-multilingual-QA 数据集可作为多语言语音问答的基准，推动相关研究。

总体而言，该工作为 SLM 在敏感领域的高效适配提供了可行的范式，尤其在数据隐私和计算资源受限的场景下具有重要应用前景。