LuxSQA：用TTS增强卢森堡语口语问答

背景

Spoken Question Answering（SQA）即口语问答，长期以来主要聚焦于高资源语言（如英语、中文）以及精心录制的语音数据，这使得基于语音与大语言模型（speech-LLM）的方法在低资源场景中的推广受到限制。卢森堡语（Luxembourgish）作为一种低资源语言，缺乏大规模人工录制的问答语音语料库，因此亟需探索如何在不依赖大量人工标注的情况下构建有效的 SQA 系统。本文旨在研究文本转语音（Text-to-Speech, TTS）技术能否为卢森堡语 SQA 生成任务特定的训练数据，从而绕过人工录制大规模 QA 语音语料的需求。

核心内容

本文（LuxSQA）从已有的基于文本的 QA 资源出发，将问题翻译成卢森堡语，然后使用多种 TTS 系统合成口语问题，并与文本答案配对，构建出训练数据。具体流程如下：

• 数据构建：利用现有文本 QA 语料库，通过翻译将问题转为卢森堡语；分别使用 MMS-TTS、Qwen3-TTS 以及 OmniVoice 系列变体等多种 TTS 系统合成语音；形成了两种规模的训练集：单一来源语料（约 48k 个问题）和 4TTS 多来源混合语料（约 230k 个问题）。
• 模型架构：采用参数高效的 SLAM 风格的架构，将冻结的 Whisper 编码器与冻结的多语言大语言模型（multilingual LLM）后端连接起来，中间通过一个可学习的投影器（projector）和 LoRA 适配器实现交互。该设计在不更新预训练模型参数的前提下，仅通过少量可训练参数适配 SQA 任务。
• 评估：在 LLAMA-LB-Test 基准测试上，基于两位真实的卢森堡语说话人条件进行评测。结果显示，多来源（multi-source）以及基于语音设计（voice-design-based）的合成训练配置取得了最强的 SQA 性能。同时，研究发现无参考 TTS 质量评分（no-reference TTS quality scores）并不能单调地预测下游 QA 性能，这意味着合成语音的评估必须放在任务特定的训练数据场景中，而不能仅依据其听感是否自然。

关键要点

• 低资源语言 SQA 的可行路径：TTS 增强方法为卢森堡语等低资源语言提供了无需大规模人工录制语料的解决方案。
• 多来源 TTS 混合优于单一来源：将来自 4 种不同 TTS 系统的合成语音混合（约 230k 问题）比使用单一 TTS 系统（约 48k 问题）能取得更好的 SQA 表现。
• 语音设计（voice design）对训练有益：TTS 系统提供的不同音色、说话风格等语音特征选择（voice-design-based 配置）可以进一步提升下游问答性能。
• TTS 质量与下游性能并非单调相关：常见无参考 TTS 客观指标（如自然度得分）不能直接线性对应 SQA 任务的表现，合成语音作为训练数据需要针对任务进行专门评估。
• 参数高效架构：通过冻结 Whisper 编码器和多语言 LLM，仅训练投影器和 LoRA 适配器，大幅降低了计算和存储开销，有利于低资源环境下的部署。

意义与影响

• 拓展 SQA 的语言覆盖：该工作首次系统性地将 TTS 增强技术应用于卢森堡语 SQA，证明了低资源语言可以通过合成数据获得可用的语音问答能力，为其他低资源语言（如方言、少数民族语言）提供了可借鉴的范式。
• 启示 TTS 在任务数据中的评价标准：研究指出，仅依靠 TTS 的听感评分无法可靠预测其作为训练数据的效果，这促使社区重新思考合成语音在语音 NLP 任务中的评估方法，推动建立更贴近下游任务的有效性指标。
• 推动语音-LLM 方法的普惠化：通过使用冻结的强预训练模型（Whisper、多语言 LLM）与轻量适配器，该方法降低了计算门槛，使得资源受限的研究团队也能开展低资源 SQA 研究。
• 为多模态与多语言融合提供案例：本文展示了文本、语音与翻译资源的协同利用策略，即利用已有的文本 QA 数据，通过翻译和 TTS 合成低成本地扩展到新语言，这种思路可推广至其他模态和任务。