多模态语音活动投影框架提升社交机器人话轮转换预测

背景

在人机交互领域，社交机器人正越来越多地参与人类之间的对话。当机器人扮演调解者（mediator）角色时，它需要预测对话的动态走向，而不仅仅是等用户说完再回应。传统的轮次转换（turn-taking）预测往往依赖语音活动检测（VAD）或简单的停顿检测，但这种方式在复杂的人际对话中表现不佳，因为机器人无法提前预判谁即将开始说话、谁即将结束发言。此前已有基于音频的 Voice Activity Projection（VAP）模型，通过自监督的未来投影目标学习预测语音活动，但仅依赖音频信号忽略了视觉线索（如面部表情、唇部运动、注视方向等），而这些信息在人类对话中至关重要。本文提出一种多模态扩展方案，将音频与视觉输入同步融合，以提升社交机器人在调解场景下的轮次转换预测能力。

核心内容

本文提出 Multimodal Voice Activity Projection（MM-VAP） 框架，是对原始音频-only VAP 公式的多模态扩展。该框架的主要创新点包括：

1. 多模态输入融合：MM-VAP 接收同步的音频-视觉输入，而非仅音频。视觉输入采用预训练的音频-视觉骨干网络（该网络原本针对语音相关任务优化），通过 Low-Rank Adaptation（LoRA） 将其适配到多模态轮次转换任务中，从而在保留预训练知识的同时高效适应新任务。

2. 独立说话人编码与交互注意力：对每个说话人先进行独立的编码，然后通过一个说话人间注意力（inter-speaker attention） 阶段建模说话人之间的动态关系，从而预测未来语音活动投影。这种设计让模型能够捕捉对话中“谁在听、谁在等、谁准备接话”的交互模式。

3. 语义一致性损失：为了约束模型输出的 256 态（256-state）未来投影空间，引入一个语义一致性损失（semantic consistency loss）。该损失利用更高层级的对话活动模式（如对话状态、轮次边界）来正则化输出分布，使预测结果更符合人类对话的语义结构。

4. 实验与评估：在 NoXi 和 NoXi+J 数据集上的实验显示，MM-VAP 相比现有基线（audio-only VAP 及其他方法）取得改进，尤其在特定类型的轮次转换事件（如打断、重叠、连续接话等）上提升显著。此外，在 Haru EDR 语料库（一个面向调解型人机交互的专用数据集）上的额外评估进一步验证了该框架在调解导向场景中的适用性。

关键要点

• 任务定义：轮次转换预测是一个关键需求，尤其是对于充当调解者的社交机器人，它需要预测对话动态而不仅仅是反应式停顿检测。
• 核心方法：MM-VAP 将原始音频-only VAP 扩展为多模态（音频+视觉），并保持自监督的未来投影目标。
• 骨干网络适配：采用预训练的音频-视觉骨干（原用于语音任务），通过 LoRA 高效微调，避免从头训练。
• 说话人关系建模：独立编码各说话人后，利用说话人间注意力捕捉交互关系，从而投影未来语音活动。
• 输出空间正则化：引入语义一致性损失，利用高层对话活动模式约束 256 态输出空间，提升预测的语义合理性。
• 数据集与结果：在 NoXi 和 NoXi+J 上超越基线，在 Haru EDR 上进一步证实适用性，尤其在特定轮次转换事件上表现出色。
• 未公开细节：本文未提供具体数值或消融实验细节，需参见原论文。

意义与影响

该工作为社交机器人的轮次转换预测提供了新的多模态范式。相比纯音频方法，MM-VAP 通过融合视觉信息（如说话人是否在注视对方、口型运动等）显著提升了预测的提前量和准确性，尤其适用于调解场景——机器人需要同时管理多个对话参与者的发言节奏。LoRA 适配策略使得大规模预训练模型能够高效迁移到轮次转换任务，降低了训练成本。语义一致性损失的引入则让模型输出不仅依赖低层声学/视觉特征，还与对话语义结构对齐，有助于生成更符合人类直觉的预测。此外，在 Haru EDR 上的验证表明该方法具有跨数据集泛化能力，未来可推广至会议助理、远程协作机器人、教学辅助机器人等需要实时轮次管理的场景。该方向也启示后续研究可进一步探索更丰富的模态（如姿态、手势）以及联合优化对话状态与轮次预测。