帧率影响下自闭症自刺激行为视频分类的机器学习评估

背景

自闭症谱系障碍（Autism Spectrum Disorder，ASD）影响全球超过 7500 万人，然而能够用于远程行为筛查的可扩展计算方法仍然十分有限。视频分析技术为客观、非侵入式的行为评估提供了可能，但自闭症患者特有的自我刺激行为（self-stimulatory behaviors）——例如重复性手部动作——在视频中的自动识别面临两大挑战：一是如何选择最优的序列神经网络架构和时序采样策略，二是在小样本行为数据集上如何设计有效的数据增强方法。这篇发表于 arXiv 的论文正是针对这两个问题展开系统研究，为视频行为分类的工程实践提供具体指南。

核心内容

研究团队从 Self-Stimulatory Behavior Diagnosis（SSBD）数据集中提取了基于人体姿态的特征，训练了长短期记忆网络（LSTM）和门控循环单元（GRU）两种序列模型，并在不同的帧采样间隔（1、5、15、30、45、90 帧）下评估性能。实验结果表明，两种架构均超越了先前的卷积神经网络（CNN）基线（准确率 62%-76%），其中 LSTM 在每 15 帧采样一次时达到峰值准确率 97.5%，GRU 在同一设置下达到 98.75%，进一步验证了序列模型对此类时序行为分类的有效性。

针对第二个目标——数据增强策略，研究者将十种不同的增强方法应用于基于 I3D（Inflated 3D ConvNet）的迁移学习管道，并通过消融研究量化每种技术的边际贡献。单独使用水平翻转（horizontal flip）获得了最高准确率（48.78%），而将上采样（upsampling）从增强管道中移除则导致性能最大幅度的下降，说明上采样对于复杂行为视频的数据增强是不可或缺的。此外，论文还采用了一种个性化机器学习方法——为每个受试者建立模型，并在每个视频的时间分割片段上进行训练和测试——结果表现出稳定的一致性预测（平均损失 1.84，标准差 0.79）。

这些发现为在数据稀缺的临床领域进行视频行为分类提供了架构选择、采样率设定和增强策略的具体指导。

关键要点

• LSTM 和 GRU 模型在 SSBD 数据集上的准确率远超先前 CNN 基线（62%-76%），峰值分别达到 97.5% 和 98.75%，且均在每 15 帧采样一次时表现最佳。
• 帧采样间隔是关键参数：过密（1 帧）或过疏（90 帧）均会降低性能，15 帧间隔取得了时序信息与计算效率的最佳平衡。
• 水平翻转是单一数据增强技术中效果最好的（准确率 48.78%），但综合增强管道中上采样（upsampling）的作用最为关键，其缺失会导致最严重的性能下降。
• 个性化模型（per-subject）通过在每个视频的时间分割片段上训练和测试，实现了平均损失 1.84、标准差 0.79 的稳定预测，表明个体化建模有助于应对行为数据的异质性。
• 研究结果提供了可直接参考的工程指南：GRU 搭配 15 帧采样间隔，结合包含上采样的增强管道，是当前在小样本自闭症行为视频分类任务上的推荐配置。

意义与影响

这项工作首先填补了在自闭症自我刺激行为视频分类中系统评估帧率与架构组合的空白。先前研究多采用固定采样率或 CNN 类方法，而本文对比了多种序列模型与多档帧率，明确给出了最优参数区间，这对于从事远程行为筛查的工程师和临床研究者具有直接的实践价值。

其次，数据增强的消融研究揭示了上采样对于复杂行为视频的特殊重要性——不同于常见图像/视频分类任务，行为视频中正样本往往稀少且动作差异大，上采样能有效缓解类别不平衡，提升模型泛化能力。这一发现可推广至其他临床行为视频分析场景。

最后，个性化建模的成功提示我们，在资源允许的条件下，针对个体建立专属模型可能比通用模型更鲁棒，尤其当受试者行为模式相差悬殊时。这为未来构建可自适应调整的远程筛查系统提供了方法论基础。总体而言，该项研究以扎实的实验证据推动自闭症辅助诊断技术向低资源、高精度的方向迈出了重要一步。