Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation
AI 深度解读
背景
手语是全球数百万聋哑人和听障人士的主要交流方式，然而文本到手语视频的生成仍然成本高昂，因为视频扩散模型的训练和评估都非常昂贵。现有方法通常需要大量计算资源（多 GPU 集群），限制了该领域的研究门槛。本文提出 Text2Sign，一个文本条件扩散模型，用于生成短手语片段，能够在单块 NVIDIA L4 GPU 上运行，大幅降低硬件需求。该工作来自 arXiv cs.CL 子领域，旨在为文本到手语视频生成提供一个低成本的研究基线。
核心内容
Text2Sign 是一个文本条件扩散模型，输出为短手语视频片段。其架构将冻结的视觉-语言文本编码器（frozen vision-language text encoder）与 3D 编码器-解码器（3D encoder-decoder）结合，并采用因式分解的空时注意力（factorized spatiotemporal attention）来降低全视频注意力的计算成本，同时保持运动连贯性。
研究进行了多组消融实验：对比纯卷积骨干（convolution-only backbone）与 Transformer 样式骨干（transformer-style backbone）；对比冻结预训练文本编码器（frozen pretrained text encoder）与任务特定文本编码器（task-specific text encoder）；对比因式分解注意力与全注意力（full attention）。所有实验基于一个手语者不相交的 How2Sign 数据集划分（signer-disjoint split）。
最佳短期消融实验的验证损失达到 0.0648；更长训练的 checkpoint 将验证损失降至 0.00999。在紧凑评估切片（compact evaluation slice）上，使用 8 步 DDIM 采样（8-step DDIM sampling）和引导尺度 5.0（guidance scale 5.0），长训练模型达到以下指标：SSIM = 0.2403 ± 0.0238，PSNR = 15.11 ± 0.42 dB，时序一致性（temporal consistency）= 1.0000 ± 0.0000（完美一致）。生成一个 32 帧、64×64 分辨率的片段仅需 12.60 秒（即 2.54 帧/秒），峰值推理显存为 3.12 GB。
此外，论文进行了一项保留的噪声去除审计（held-out denoising audit），显示提示敏感性很弱：移除文本会使晚期时间步损失（late-timestep loss）从 0.9875 上升到 0.9891；而打乱提示（shuffled prompts）的结果与正确提示相似。这表明冻结文本条件能在短预算下改善验证损失，但提示特定区分（prompt-specific separation）仍然有限。
该系统仅限于低分辨率、短视频片段，且缺乏专家语言学评估。因此应将其视为一个单 GPU 研究基线，而非完整的手语生产系统。代码已开源（论文中提供链接）。
关键要点
- Text2Sign 可在单块 NVIDIA L4 GPU 上运行，显存峰值仅 3.12 GB，显著降低硬件门槛。
- 架构核心：冻结的视觉-语言文本编码器 + 3D 编码器-解码器 + 因式分解空时注意力，平衡成本与运动质量。
- 在 How2Sign 手语者不相交划分上，长训练 checkpoint 验证损失低至 0.00999。
- 生成质量指标：SSIM ≈ 0.24，PSNR ≈ 15.11 dB，时序一致性 = 1.0（完美），但受限于 64×64 低分辨率和 32 帧短片段。
- 推理速度：每帧 2.54 帧（生成 32 帧共 12.60 秒）。
- 提示敏感性弱：去除文本或打乱提示对损失影响很小，说明当前模型未能有效区分不同文本提示的含义。
- 局限性：低分辨率、短时长、无专家语言学评估；不能直接用于生产。
- 论文定性为“单 GPU 研究基线”，旨在降低手语视频生成的研究门槛。
意义与影响
Text2Sign 的意义在于提供了一个可在单 GPU 上训练和推理的文本到手语视频生成基线。此前，视频扩散模型通常需要多 GPU 甚至大规模集群，限制了手语生成领域的研究可及性。通过冻结文本编码器、使用因式分解注意力，该工作展示了在极低计算预算下获得合理运动连贯性（时序一致性为 1.0）的可能性。同时，结果暴露了当前方法的瓶颈：提示区分能力不足，生成的视频与文本语义关联薄弱。这指出了未来方向——需要更好的文本-视频对齐机制或更大的模型容量，且必须引入专家语言学评估。该工作作为一个开源基线，有望促进社区在计算资源受限条件下探索手语生成，同时为更高质量的系统提供对比基础和可复现的起点。