Toward Real-Time Sentence-Level Sign Language Translation

背景

手语是听障人士最主要的交流方式之一，但传统的手语理解系统大多停留在孤立词汇（isolated signs）的识别层面，即一次只识别一个手势，无法处理自然交流中连续、完整的句子。这种局限使得现有系统在实际对话场景中的可用性大打折扣。近年来，随着神经机器翻译和预训练模型的发展，句子级手语翻译（Sentence‑Level Sign Language Translation, SLT）逐渐成为研究热点，但大多数工作仍聚焦于提升离线翻译精度，而忽视了实时部署需求。本文正是针对这一缺口，提出了一套面向硬件感知的实时句子级手语翻译系统。

核心内容

本文的研究目标并非提出全新的翻译架构，而是以实时部署为第一优先级，探索如何利用现有预训练模型和轻量级微调方法，在有限计算资源下实现可用的句子级手语翻译系统。

数据与模型选择： 受限于计算和存储条件，作者从 How2Sign 数据集中均匀采样了 9,872 个样本（作为子集），并使用 QLoRA（量化低秩适配）技术微调一个 SHuBERT‑ByT5 翻译组合流水线——其中 SHuBERT 负责提取手语视频的上下文嵌入，ByT5 负责将嵌入解码为文本。整个微调过程中 SHuBERT 保持冻结状态，只更新 ByT5 的部分参数。

性能指标： 在验证集上 BLEU 达到 16.7，测试集上 BLEU 为 15.9，BLEURT 为 44.7。这些分数虽然不算顶尖，但考虑到模型规模和数据量，已具备实际参考价值。

硬件感知的流式系统： 本文的主要贡献在于设计了一个客户端‑后端分离的实时流式系统。后端运行在 CPU/GPU 服务器上，负责计算密集型的感知（手语特征提取）和翻译（文本生成）；参考客户端使用 Raspberry Pi 4B，仅负责摄像头采集、本地文本显示和语音输出。该捕获协议是客户端无关的，因此同一套后端可服务于浏览器、手机或笔记本电脑。

延迟优化机制： 为了实现低延迟，系统引入了多项流式处理技术：

• 分块摄入（Chunked Ingestion）：将视频流按固定时间块（chunk）分段送入，无需等待完整句子结束即可开始处理。
• 有界队列（Bounded Queues）：控制并发请求数量，防止后端过载。
• 并行化感知（Parallelized Perception）：同时运行多个感知实例，减少串行等待。
• 时间重排序（Temporal Reordering）：修正因分块处理可能导致的输出顺序错乱。
• 句子边界状态机（Sentence‑Boundary State Machine）：自动检测句子结束点，触发最终化（finalization）并输出完整翻译。

结果： 在全部 9,872 个样本的评测中，流式系统将平均最终化后响应延迟（post‑finalization response latency）从 1.873 秒降至 1.354 秒，降幅 27.71%；P95 延迟从 2.919 秒降至 2.130 秒，降幅 27.03%。

关键要点

• 本文聚焦于句子级手语翻译的实时部署，而非提出新的翻译架构。
• 使用 QLoRA 微调冻结的 SHuBERT + ByT5 翻译流水线，在 9,872 样本子集上取得验证 BLEU 16.7，测试 BLEU 15.9 / BLEURT 44.7。
• 设计硬件感知的流式系统，后端运行在 CPU/GPU 服务器，客户端采用 Raspberry Pi 4B（可替换为任意设备）。
• 通过分块摄入、有界队列、并行化感知、时间重排序和句子边界状态机等机制，将平均响应延迟降低 27.71%（从 1.873s 到 1.354s），P95 延迟降低 27.03%。
• 捕获协议客户端无关，同一后端可适配浏览器、手机或笔记本。
• 模型和数据（How2Sign 子集）已公开或可复现（原文链接至 arXiv 页面）。

意义与影响

这项工作为手语翻译技术的实用化迈出了重要一步。此前大多数句子级手语翻译研究注重离线 BLEU 分数的提升，却忽略了实际部署中用户对实时反馈的迫切需求。本文通过轻量级微调（QLoRA）和硬件感知的流式设计，展示了在低成本边缘设备（如树莓派）上实现接近实时的句子级翻译的可行性。

其延迟优化技术的通用性值得关注：分块摄入、有界队列和句子边界状态机等方法不仅限于手语翻译，也可迁移至其他流式认知任务（如实时语音识别、视频理解）。客户端‑后端分离的设计进一步降低了终端硬件的门槛，使得更多听障人士能够通过普通手机或浏览器获得实时翻译服务。

当然，当前 BLEU 分数仍有较大提升空间（15.9），且实验仅基于 How2Sign 的一个小子集，未来需要在更大规模、更具噪声的真实数据上验证。但本文证明了在有限资源下优先优化实时交互体验的可行路径，为后续研究提供了实践基准和系统架构参考。