SeRIn：分离、细化、整合，多模态情感分析达SOTA
速览
SeRIn通过分离、细化、整合三步，将模态专有信号与跨模态交互解耦为独立路径，避免相互干扰。最终预测时才进行完整交互，性能提升源于结构化交互而非额外容量。在CH-SIMS和CMU-MOSEI上全面领先，门控分析显示模型能自动重加权受损模态。
AI 深度解读
背景
多模态情感分析（Multimodal Sentiment Analysis）旨在整合文本、语音、视觉等多种模态的信息来判断情感倾向。传统多模态融合方法通常将各模态特征直接拼接或通过注意力机制混合，这一过程中两个相互竞争的目标——细化模态专用信号（refine modality-specific signals）与建模跨模态交互（model cross-modal interactions）——被纠缠在同一操作中。这种纠缠导致单模态表示的纯度受损，也使得模型难以独立控制不同模态的信息流。现有方法往往通过增加参数量或复杂网络结构来提升性能，但缺乏对融合过程的结构化分解。本文正是针对这一问题，提出一种将分离、细化与集成显式解耦的融合方案。
核心内容
本文提出 SeRIn（Segregate, Refine, Integrate），一种将分离性作为架构先验的多模态LM融合方案。其核心思想是将多模态融合分解为三个独立步骤：
- 分离（Segregate）：每个模态的特征沿独立的隔离路径（isolated pathways）演化，确保各模态的表示在早期不相互污染。
- 细化（Refine）：每条隔离路径上的表示分别向其对应的编码器上下文（encoder context）进行针对性优化，即各模态的上下文表示仅基于自身模态的信息进行精炼。
- 集成（Integrate）：设计专门的跨模态路径（dedicated cross-modal pathway），该路径累计各模态表示在隔离路径上的联合演化结果，但完全不干扰单模态流（unimodal streams）。完整的跨模态交互被推迟到最终的预测步骤（final prediction step）才发生。
消融实验证实，性能提升来源于结构化的交互方式，而非简单的参数量增加。在视觉模态受到干扰（如遮挡、噪声）的情况下，门控分析（gate analysis）显示SeRIn能够自发地重新调整各模态的权重（emergent modality reweighting），而无需显式的监督信号。
该方法在 CH-SIMS 和 CMU-MOSEI 两个多模态情感分析基准上取得了最先进的结果，在所有评测指标上均实现提升。
关键要点
- 问题分解：将多模态融合分解为分离、细化、集成三个独立阶段，分别对应模态隔离、单模态精炼和延迟的跨模态交互。
- 架构约束：以模块化路径强制隔离单模态信息流，避免早期融合导致的模态间干扰。
- 跨模态路径：专用路径仅负责累计联合演化结果，不参与单模态表示的更新，从而保持单模态流的纯净性。
- 延迟交互：完整的模态间相互作用仅在最终预测头中发生，消融实验证明这种结构化延迟是性能提升的关键。
- 涌现重加权：在视觉模态受损时，门控机制自动调节各模态贡献，无需人工设计或额外训练，体现了模型的自适应能力。
- SOTA 表现：在 CH-SIMS 和 CMU-MOSEI 两个权威数据集上，所有指标均超越此前最优方法。
意义与影响
SeRIn 的提出为多模态融合领域提供了一种新的设计范式：将融合过程中两个相互冲突的目标（细化模态信号 vs. 建模跨模态交互）显式解耦为不同阶段，并通过架构先验强制执行。这种分解不仅提升了性能，还带来了更好的可解释性——门控分析揭示了模型在模态缺失或噪声条件下的自适应重加权行为，这对于实际部署中模态质量不均衡的场景（如视频中的丢帧、低质量音频）具有重要意义。
此外，该方法不依赖于特定模态的编码器结构，可推广到文本-图像-语音等多种组合，为多模态语言模型（LM）的融合模块设计提供了轻量级替代方案。论文中使用的 CH-SIMS（中文多模态情感数据集）和 CMU-MOSEI（英文多模态情感数据集）证明了其跨语言的有效性。未来工作可进一步探索将 SeRIn 的分离-细化-集成框架应用于更复杂的多模态任务（如视觉问答、视频推理），并研究其与预训练大模型的结合方式。