大规模手语数据集：资源、基准与标注标准的综合综述

背景

手语是聋人及听障（Deaf and Hard-of-Hearing, DHH）社区所使用的富有表现力的视觉语言。尽管在手语识别、翻译及生成领域取得了显著进展，但该技术的发展仍受到数据碎片化、标注标准不一致以及语言覆盖范围有限等问题的严重制约。

现有的基准测试往往无法反映现实世界中的真实交流需求，且针对这些局限性的系统性分析仍然匮乏。为了打破这一瓶颈，研究人员需要更全面、标准化的数据资源来推动技术的落地与普及。

核心内容

本文发表于一篇提交至 arXiv cs.CL 领域的综述文章《Sign-Language Datasets at Scale: A Comprehensive Survey on Resources, Benchmarks, and Annotation Standards》（大规模手语数据集：资源、基准与标注标准的综合综述）。文章旨在解决当前手语技术发展中面临的数据基础设施薄弱问题，提供了一份详尽的行业全景图。

1. 全面的数据集索引 研究团队构建了一个涵盖 120 个资源、涉及 35 种手语 的综合索引。这是目前对手语数据资源最全面的梳理之一，打破了以往仅关注少数几种主流手语（如美国手语 ASL）的局限，极大地扩展了多语言手语研究的视野。

2. 关键挑战分析 文章深入剖析了当前手语数据集存在的三大核心痛点：

• 模态不平衡（Modality Imbalance）： 视觉信号（视频/图像）与文本或音频信号之间的对齐与处理难度差异巨大，导致模型训练时容易出现偏差。
• 标注粒度（Annotation Granularity）： 现有数据的标注层级不一，有的仅标注句子级别，有的细化到手语手势或面部表情，缺乏统一标准，阻碍了模型的可比性。
• ** signer 偏差（Signer Bias）：** 数据集中特定手语者（Signer）的特征过于突出，导致模型泛化能力差，无法适应不同使用者的身体特征和表达习惯。

3. 标准化文档工具：Sign-Language Datasheet 为解决上述问题，作者引入了一份包含 24 个字段 的《手语数据集数据表》（Sign-Language Datasheet）。该工具旨在规范数据集的文档记录，确保透明度。通过统一记录数据来源、采集环境、标注协议、伦理考量等关键信息，研究者可以更清晰地评估数据集的适用性与局限性。

4. 开源社区支持 为了促进可重复性评估和标准化文档的落地，作者公开了相关的 GitHub 仓库。这不仅是一个数据集列表，更是一个支持社区协作、共享最佳实践的平台，鼓励研究人员遵循统一标准进行数据构建与评估。

关键要点

• 规模空前： 综述覆盖了 120 个数据集和 35 种手语，是迄今为止最广泛的手语数据资源盘点。
• 痛点明确： 明确指出“数据碎片化”、“标注不一致”和“语言覆盖不足”是制约手语 AI 发展的三大主要障碍。
• 标准化倡议： 提出了具体的 24 字段数据表模板，为数据集的标准化文档提供了可操作的框架。
• 开源协作： 通过公开 GitHub 资源，推动建立开放、透明且可复现的手语研究生态。
• 现实导向： 强调现有基准测试与现实交流需求脱节，呼吁开发更贴近真实应用场景的技术方案。

意义与影响

这项工作在推动包容性、鲁棒性和可扩展的手语技术发展方面提供了统一且实用的基础。

1. 促进技术公平性： 通过扩展对 35 种手语的关注，有助于减少技术对主流手语的过度依赖，使更多小众手语使用者受益，促进数字包容。
2. 提升研究可复现性： 标准化的数据表和开源平台将降低研究门槛，使不同团队的研究结果更具可比性，加速算法迭代。
3. 加速落地应用： 解决模态不平衡和标注问题，有助于开发出更准确、更自然的手语识别与翻译系统，从而在医疗、教育、公共服务等真实场景中发挥更大价值。

总之，该综述不仅是一份资源清单，更是手语人工智能领域走向成熟化、标准化的重要里程碑。