Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

背景

同时语音翻译（Simultaneous Speech Translation, SimulST）要求系统在严格的延迟约束下逐段增量地输出译文，同时保持翻译质量。这一任务在语音交互、会议同传等实时场景中具有重要应用价值。当前主流的方案多基于 decoder-only 的大语言模型（LLM），但 LLM 在 SimulST 中面临两个核心难题：一是可用的上下文片段有限，难以捕捉长距离依赖；二是跨语言语序重排（reordering）在增量翻译中更易出错。为应对这些挑战，近年来的研究倾向于引入架构层面的改动（如增加编码器-解码器结构或修改注意力机制）或显式的读写策略（read/write policy）来控制输出时机。然而，这些方法在对话式语音中表现脆弱——由于自然对话的语义边界模糊，显式策略难以稳健地确定何时开始翻译或等待更多输入。本文探索了一个更简洁的数据驱动路径：在不改变 LLM 架构的前提下，通过固定长度的语音块累积流式解码、回退（rewind）机制以及前缀到前缀（prefix-to-prefix, P2P）的监督目标，使 LLM 学会自主控制输出时机，从而在保证低延迟的同时显著提升流式翻译质量。

核心内容

本文提出了一种名为 CSSEL-P2P 的方法。CSSEL（Chunked Streaming Speech Encoder LLM）是作者设计的流式语音编码器与大语言模型的结合体，其核心创新在于训练和推理时均未对 LLM 的 decoder-only 架构做任何改动，而是通过数据驱动的方式让模型学会增量输出。

在推理阶段，CSSEL 采用 固定长度语音块 的累积流式解码：系统持续接收固定时长的语音片段（如每 200ms 一个块），将其累积编码后送入 LLM，LLM 则根据当前已累积的语音上下文逐步生成部分译文。为了处理“何时提交已生成内容”的问题，方法引入了一种 回退式已提交前缀（rewind-based committed prefix） 机制：每当模型认为当前生成的译文已足够稳定（即后续语音块不会导致已输出内容的显著修改），就将其“提交”为最终结果，并丢弃尚未提交的推测性输出；若后续输入需要修改已提交的部分，则通过回退到最近一次明确提交的前缀来纠正，从而避免输出不一致。

在训练阶段，CSSEL-P2P 使用 教师标注的前缀到前缀（P2P）目标。具体做法是：利用一个非流式的高质量翻译模型（教师模型）在完整语音上生成参考译文，再将该参考译文按照与流式 LLM 相同的等待策略（bounded waiting）切割成与输入语音块对应的前缀段。这些前缀段作为监督信号，强制流式 LLM 在给定当前语音块时输出与教师模型对齐的部分译文，而 LLM 无需额外学习显式的读写策略，只需模仿教师的前缀预测行为。这种 P2P 目标自然隐含了“何时等待、何时输出”的决策：LLM 被训练成在未收到足够语音时输出较少内容（或保持沉默），在语音充足时快速推进译文。

实验在内部对话语音数据集上进行评估，使用 COMETKiwi 作为流式翻译质量指标，并采用 Average Lagging（平均滞后时间）衡量延迟。结果显示，CSSEL-P2P 相比仅使用累积流式解码（未加 P2P 监督）的 CSSEL 基线，在流式翻译质量上提升了 +1.54 COMETKiwi，而延迟仅增加 +0.15 秒 Average Lagging。这一结果证明：通过 P2P 监督，无需任何架构修改， decoder-only 的 LLM 即可实现有效的 SimulST，且质量提升显著，延迟代价极小。

关键要点

• 无架构改动：CSSEL-P2P 不对 LLM 的 decoder-only 架构做任何修改，所有优化均通过数据驱动（P2P 监督目标）和推理机制（回退式已提交前缀）实现。
• 固定长度语音块累积解码：推理时采用固定时长的语音块（chunk），逐块累积编码后由 LLM 增量生成译文，避免依赖显式的读写策略或分段器。
• 回退式已提交前缀：利用回退机制处理输出修正：当后续语音块导致已生成译文的合理性降低时，系统可回滚到最近一次明确提交的前缀，确保输出一致性。
• 前缀到前缀（P2P）目标：训练时使用教师模型（非流式）标注的、与语音块对齐的前缀译文作为监督，使流式 LLM 学会在有限的语音上下文中预测合理的前缀输出，隐含地习得等待与输出的时机。
• 显著质量提升与极小延迟代价：在内部对话语音测试中，CSSEL-P2P 相比基线获得 +1.54 COMETKiwi 的提升，延迟仅增加 0.15 秒，表明方法在质量和效率之间取得了良好平衡。
• 适用于对话式语音：方法不依赖明确的语音分割边界，对自然对话中的模糊边界具有更强的鲁棒性。

意义与影响

本文的工作对同时语音翻译领域具有以下重要启示：

1. 简化 SimulST 系统设计：当前主流的 SimulST 方法往往需要在 LLM 外部附加复杂的读写策略或修改模型架构（如引入交叉注意力或额外的控制头），导致系统复杂度高、泛化性差。CSSEL-P2P 证明，数据驱动的监督目标可以替代显式策略，使得基于现成 decoder-only LLM 的系统也能实现高质量流式翻译。这大大降低了构建 SimulST 系统的门槛，开发者可以复用已有的 LLM 而无需对其架构进行侵入式修改。

2. 强化 LLM 的端到端学习能力：P2P 目标本质上将“何时输出”的决策内化到模型自身的语言建模过程中，LLM 通过模仿教师的前缀预测，自然学会了根据已接收的语音块长度动态调整输出节奏。这验证了 LLM 在足够细粒度的监督下可以自主习得增量处理策略，为其他流式任务（如流式文本翻译、流式语音识别）提供了可借鉴的思路。

3. 对实时对话场景的实用价值：口语对话中经常出现犹豫、重复、话题切换等非结构化特征，传统基于边界的方案容易出错。固定长度块 + 回退机制直接绕过了边界检测问题，使系统能稳定处理连续语音。+1.54 COMETKiwi 的改进在主观体验上意味着更少的信息遗漏和更准确的语序，而 0.15 秒的额外延迟在实时交互中几乎不可察觉。因此该方法具有很强的实际部署潜力。

4. 推动 SimulST 向轻量化方向发展：许多研究倾向于通过增加编码器深度或引入专用解码器来提升 SimulST 性能，但这会增加计算开销和部署难度。CSSEL-P2P 仅通过训练数据的重标注和推理后处理的小改动就获得了显著收益，表明 SimulST 的瓶颈可能更在于训练目标的设计而非模型架构的复杂度。这鼓励研究人员更多关注数据驱动和训练策略的创新。

当然，本文的实验仅在内部对话语音数据集上进行，且未公开教师模型的具体规模和训练细节。未来需要在大规模公开基准（如 MuST-C 的 SimulST 子集）上验证方法的泛化能力，并探索 P2P 目标在多语言、多语对之间的迁移效果。此外，回退机制虽然有效，但可能引入额外的计算开销，如何优化回退策略的触发条件也值得进一步研究。总体而言，CSSEL-P2P 为同时语音翻译开辟了一个简洁而高效的新方向，有望激发更多免架构修改的 SimulST 方案。