蒸馏跨模态多语种转录提升音频情感分析

背景

语音情感识别（Audio Sentiment Analysis）旨在从语音中自动判断说话者的情感倾向（如正面或负面）。这一任务既需要分析语音的语调变化（vocal inflections），也需要理解话语中蕴含的语义信息。现有的解决方案多依赖音频基础模型（audio foundation models）来直接处理任务，但这类模型是否能够充分兼顾语调与语义两方面仍不明确。随着多模态学习与知识蒸馏技术的发展，如何有效整合音频与文本信息，并利用自动生成的转录文本来提升情感分类性能，成为研究热点。本文提出了一种结合跨模态 Transformer 和知识蒸馏的多模态方案，并通过多语言翻译进一步丰富文本模态，旨在探索自动生成的文本信息对情感分析的实际增益。

核心内容

本文提出一个多模态语音情感识别框架，核心思路如下：

1. 自动生成文本模态：利用自动语音识别（ASR）工具将语音转录为文本。这是第一层文本信息。
2. 多语言翻译增强：通过机器翻译工具将转录文本自动翻译成多种语言，从而创建多个文本模态（例如英文、中文、西班牙语等）。每个语言版本都被视为一个独立的文本模态。
3. 跨模态整合架构：采用级联（cascaded）结构，包含多个跨模态 Transformer 模块。这些模块逐一整合音频与各文本模态的特征，最终得到一个融合多模态信息的联合表征。
4. 知识蒸馏：将训练好的多模态模型（称为 teacher）的知识蒸馏到一个单模态（仅音频）模型（称为 student）中。蒸馏过程仅使用音频作为输入，但通过模仿 teacher 的输出分布来获得性能提升，且在推理阶段不引入任何额外计算开销。

实验在大规模数据集上进行，主要发现：

• 自动生成的文本信息（ASR 转录）能显著提升多模态情感极性分类的性能。
• 通过机器翻译生成的额外语言模态也带来了进一步的正向收益，消融实验证实：无论是自动转录还是自动翻译，均对任务有帮助。
• 经过知识蒸馏后，纯音频的学生模型性能得到了提升，且推理时无需处理文本信息，保持了低计算成本。
• 作者公开发布了代码以支持结果复现（代码链接见论文）。

关键要点

• 多模态融合：音频特征与多语言文本特征通过跨模态 Transformer 级联整合，每次只融合一种模态，降低训练难度。
• 文本来源全自动：依赖现成的 ASR 和机器翻译工具，无需人工标注转录或翻译，具有良好可扩展性。
• 知识蒸馏的价值：多模态 teacher 的知识被压缩到纯音频 student 中，使 student 在不使用文本输入的情况下仍能受益于文本语义信息。
• 计算效率：蒸馏后的学生模型推理时仅需音频输入，无额外计算开销，适合低延迟或资源受限场景。
• 消融实验结论：自动转录和自动翻译两个环节均贡献了性能提升，缺一不可。
• 代码开源：在 GitHub 上公开代码，便于社区验证与后续研究。

意义与影响

该研究为语音情感分析提供了一种实用且高效的范式。首先，它证明了自动生成的多语言文本可以有效增强音频情感识别，而无需昂贵的人工标注。其次，通过跨模态 Transformer 的级联整合，模型能够灵活处理多种模态信息，为多模态学习提供了一种可扩展的设计思路。第三，知识蒸馏的引入使得纯音频模型也能间接利用文本语义，在保持低推理成本的同时提升性能，这对于移动端或实时系统尤其重要。此外，该工作也引发了关于“多模态 vs. 单模态”的思考：即便最终只部署单模态系统，多模态预训练与蒸馏仍能带来明显提升。未来研究可以进一步探索更丰富的文本模态（如情感增强翻译）、更复杂的蒸馏策略，以及将该框架推广到其他语音相关任务（如语音情绪识别维度而非极性）。