NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task

背景

NAVER LABS 在 IWSLT（国际口语语言翻译研讨会）2025 年的指令跟随任务中提出了一套系统方案。随着 IWSLT 2026 共享任务（constrained condition, short audio track，即受限条件、短音频轨道）的启动，主办方对系统组件做了强制规定：必须使用 SeamlessM4T-v2-large 作为语音编码器，以及 Qwen3-4B-Instruct 作为大语言模型（LLM）骨干。NAVER LABS 团队基于其 2025 年的流水线设计，针对这些强制组件进行了重新实现与适配，旨在验证原有方法在新组件下的有效性，并进一步提升指令跟随任务中语音翻译与问答的性能。

核心内容

本系统重新实现了 NAVER LABS 在 IWSLT 2025 指令跟随任务中使用的流水线，以参与 IWSLT 2026 共享任务（受限条件、短音频轨道）。团队严格遵循了赛事规定的组件约束：采用 SeamlessM4T-v2-large 作为语音编码器，Qwen3-4B-Instruct 作为 LLM 骨干。原有的三阶段设计被完整保留，分别为：

1. Projector Alignment（投影器对齐）：将语音编码器输出的特征与 LLM 的嵌入空间进行对齐，通常通过对比学习或回归损失训练一个轻量投影器。
2. Text-only LoRA Pre-training（纯文本 LoRA 预训练）：在仅使用文本数据的情况下，对 LLM 进行 LoRA（低秩适配）微调，使其熟悉指令跟随的格式与任务。
3. Multimodal Merging（多模态融合）：将语音和文本模态的表示进行融合，通过联合训练使模型能够端到端地处理语音输入并执行指令。

此外，团队从提供的语料库中额外构建了 100k 个合成指令跟随样例，覆盖 10 种以语音为中心的指令任务类型（每种任务 10k 样例）。这些合成数据适合用于第三阶段的进一步微调。

最终，主模型在 MCIF 基准测试上取得了以下结果：针对英文到中文（EN-ZH）的语音翻译任务，COMET 得分为 0.781；针对英文 Spoken Question Answering（SQA，口语问答）任务，BERTScore-F1 得分为 0.346。

关键要点

• 系统基于 NAVER LABS 2025 年指令跟随流水线，针对 IWSLT 2026 的强制组件进行重新实现。
• 强制语音编码器为 SeamlessM4T-v2-large，LLM 骨干为 Qwen3-4B-Instruct。
• 保留原有三阶段训练流程：投影器对齐、纯文本 LoRA 预训练、多模态融合。
• 额外构建了 100k 个合成指令跟随样例，涵盖 10 种语音中心任务类型（每类 10k 条），用于第三阶段微调。
• 主模型在 MCIF 基准上 EN-ZH 语音翻译的 COMET 为 0.781，英文 SQA 的 BERTScore-F1 为 0.346。

意义与影响

该工作展示了将已有优秀指令跟随流水线迁移到新组件（不同的语音编码器和 LLM）时的可行性。通过保留三阶段设计并补充合成数据，团队在受限条件下取得了有竞争力的结果。这不仅验证了原有方法的通用性，也为后续研究者在不同编码器-LLM 组合下实现语音指令跟随提供了参考。此外，构建的 100k 合成数据覆盖了多种语音任务，有望作为公开资源（如已在 Hugging Face 上发布）促进该领域的进一步探索。不过，当前结果仅针对短音频轨道和受限条件，未来在更复杂场景（如长音频、多语言、开放条件）下的表现仍有待验证。