手语翻译新模型VTaMo引入多粒度对齐技术

背景

手语翻译（Sign Language Translation, SLT）旨在将连续的手语视频转换为口语文本。传统方法通常依赖 gloss 形式的中间表示，但 gloss 标注成本高昂且难以覆盖所有手语变体。近年来，无 gloss 的方法（gloss-free approaches）利用预训练的视觉编码器和语言模型，仅通过翻译监督信号隐式地完成跨模态对齐。然而，这种隐式对齐方式难以捕捉视频帧与文本 token 之间的细粒度对应关系，导致翻译质量受限。针对这一问题，研究者提出了 VTaMo（Video-Text Alignment Model），首次在手语翻译中引入显式的多粒度对齐机制，以期提升跨模态语义匹配的精确性。

核心内容

VTaMo 是一个端到端框架，其核心思想是同时从局部、全局和位置三个粒度进行显式的视频-文本对齐。具体包含三个组件：

1. 局部对齐（Local Alignment）：采用熵正则化的最优传输（entropy-regularized optimal transport）方法，并引入一个可学习的空标记（null token）。最优传输用于在帧与 token 之间建立细粒度的对应关系，空标记则允许模型将无关的帧或噪声“对齐”到空位置，避免强制匹配带来的干扰。该组件通过最小化传输代价来学习帧到 token 的 soft 映射，从而捕捉局部细节语义。

2. 全局对齐（Global Alignment）：通过一个可学习的正交变换（learnable orthogonal transformation）来校准视频与文本嵌入空间的几何结构。具体使用 Earth Mover's Distance（推土机距离）衡量两个模态的整体分布差异，正交变换确保变换后的嵌入空间保持距离和角度的一致性，从而在全局语义层面实现对齐。

3. 位置对齐的对比学习（Position-Aligned Contrastive Learning）：在 token 级别引入对比损失，同时考虑序列中的位置信息。该方法鼓励模型区分不同位置的 token 表示，提升判别能力，从而强化 token 级别的语义一致性。

三个组件协同工作，共同优化视频和文本之间的多粒度匹配。实验在四个基准数据集上进行：Phoenix-2014T（德国手语）、CSL-Daily（中国手语）、How2Sign（美国手语）和 OpenASL（开放域美国手语）。VTaMo 在所有数据集上均取得了当前最优（state-of-the-art）的翻译性能。消融实验进一步证实了每个组件对整体效果的贡献是互补且不可或缺的。相关代码已开源（见论文链接）。

关键要点

• VTaMo 是首个在手语翻译中同时引入局部、全局、位置三种显式对齐的框架，克服了隐式对齐的局限性。
• 局部对齐采用熵正则化最优传输 + 可学习空标记，实现帧到 token 的细粒度匹配并容忍噪声。
• 全局对齐通过可学习正交变换和 Earth Mover's Distance 校准两个模态的嵌入空间几何结构。
• 位置对齐的对比学习增强了 token 级别的判别性表示，避免位置混淆。
• 在 Phoenix-2014T、CSL-Daily、How2Sign、OpenASL 四个数据集上均刷新 SOTA 成绩。
• 消融实验表明三个组件互补协作，缺一不可。
• 代码已公开，便于复现和进一步研究。

意义与影响

VTaMo 的提出在手语翻译领域具有重要的方法论意义。它系统性地回答了“如何在不依赖 gloss 标注的情况下实现可靠的跨模态对齐”这一问题，将视觉-语言对齐从隐式监督推进到显式、多粒度约束的阶段。其设计的三个对齐组件均具有较强的通用性，未来可迁移到其他视频-文本任务（如视频描述、视频检索）中。此外，VTaMo 在多个不同语种和规模的数据集上一致的 SOTA 表现，表明该框架具有良好的跨语言和跨领域泛化能力。这项工作不仅提升了手语翻译的实用性能，也为无 gloss 手语翻译的研究方向提供了清晰的技术路径。随着开源代码的发布，预计将推动更多研究者探索显式对齐机制在跨模态理解中的潜力。