阿里发布Qwen-Audio-3.0-Realtime实时语音大模型四项升级

背景

实时语音交互大模型是当前AI落地的重要方向，但传统语音助手普遍面临“智商”与“速度”不可兼得的困境：为降低端到端时延，模型往往牺牲推理深度，导致应答机械、无法处理复杂任务。与此同时，语音模型在Agent工具调用、情感化表达和多轮对话流畅度等方面也远逊于文本大模型。阿里巴巴于7月15日正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime，针对上述短板，在智商、Agent工具调用、共情对话和双工交互流畅度四条主线上同步升级，力求“又快又聪明”。该模型提供推理更强的Plus版本和速度更快的Flash版本，可应用于智能客服、教育培训、娱乐互动与情感陪伴等场景。此前，模型的Preview版本（Fun-Realtime-Audiochat）曾在全球权威第三方评测平台Artificial Analysis的“语音推理能力”和“对话流畅度”指标上以97.6%登顶，超越GPT-Realtime-2。

核心内容

Qwen-Audio-3.0-Realtime在以下四个方面实现了显著升级：

1. 智商与响应速度的提升
针对实时语音模型常见的“延时低则智商低”问题，模型对日常对话、简单问答等对时延敏感的场景采用直接生成回复的策略，实现毫秒级响应。在语音问答基准VoiceBench上，分别以书面化的标准prompt和口语化的prompt进行测试，Plus版本得分分别为92.5和90.5，性能下降仅2.0分，表明模型能够扛住真人说话中的随意性。在更难的多轮音频对话挑战AudioMultiChallenge中，Flash版本的标准和口语化prompt得分分别为43.6和38.1，下降仅5.5分。今年5月，其Preview版本在“语音推理能力”指标上以97.6%的成绩登顶Artificial Analysis。

2. Agent工具调用能力
传统语音助手“能聊天不能办事”，往往需要用户明确说出“帮我打开XX”等指令才能触发工具调用，且切换回闲聊后容易上下文断裂。Qwen-Audio-3.0-Realtime无需明确指令即可自行调用外部工具，调用结果会自动融入对话记忆，后续追问可直接沿用。例如用户先问“附近有什么川菜馆”，再追问“评分4.5以上的哪家最近”，模型会自动衔接地图工具上一次返回的结果继续检索。该能力基于FunctionCall标准协议，可完成MCP、API、知识库的引入。

3. 共情对话能力
模型摆脱了传统语音助手的机械感，能根据对话语境动态调整语气、节奏、音调与情感。在辩论场景中，可准确抓取对方论点并快速组织反驳，同时保持恰当的语气强度；在情感陪伴中，则通过语调、节奏以及笑声、叹息、犹豫等副语言信号进行共情回应。在专门评估AI语音表达自然度的S2S语音指令遵循公开基准VStyle上，模型取得SOTA成绩。

4. 双工交互流畅度
模型支持“边说边听”，实现类似真人的随时打断、插话，而非一问一答的对讲机模式。其内置了“多模态感知的双工控制”子模型，通过分析音频信号、语义内容与说话人声纹特征来判断如何交互。例如在嘈杂环境（餐厅、开放工区）中不会被背景噪声误打断；在多人讨论中能锁定主对话对象、忽略旁听者；在多说话人切换时能根据语义线索自然过渡。API还预留了audio_prompt字段，用户可上传预先录制的音频样本，锁定声纹并聚焦特定说话人。今年5月，其Preview版本在对话流畅度指标上以97.6%登顶Artificial Analysis。

技术框架
以上能力的提升归因于模型采用的On-Policy Distillation（在线策略蒸馏）框架。研究团队将文本大模型的完整推理能力蒸馏至语音模型——语音模型一边自己生成回答，一边由文本大模型实时纠正。同时引入多教师蒸馏策略：口语多轮偏好教师保障口语化表达与指令遵循，通用教师负责基础问答与推理，Agentic教师锁定工具调用与复杂任务，音频理解教师处理副语言与音频语义信息，确保模型在四条主线上均不偏科。

关键要点

• 双版本策略：Plus版本侧重推理能力，Flash版本侧重响应速度，满足不同场景需求。
• 智商-延时平衡：通过直接生成回复策略压低时延，在语音问答基准VoiceBench上，Plus版本标准与口语prompt得分仅差2.0分，抗口语随意性能力强。
• Agent工具调用智能化：无需用户明确指令即可自动调用外部工具，调用结果融入对话记忆，支持连续追问；基于FunctionCall标准协议。
• 共情表达突破：综合调整语气、节奏、音调与情感，辅以笑声、叹息等副语言信号，在VStyle基准上达到SOTA。
• 双工交互稳定：多模态感知双工控制模型防止噪音误打断，支持多人场景锁定与说话人切换自然过渡；提供声纹锁定功能。
• 技术框架先进：采用On-Policy Distillation，结合多教师蒸馏策略，从文本大模型向语音模型定向蒸馏推理、工具调用、口语表达与音频理解能力。
• 评测领先：Preview版本曾在Artificial Analysis榜单上同时获得语音推理能力（97.6%）和对话流畅度（97.6%）两项冠军，超越GPT-Realtime-2。

意义与影响

Qwen-Audio-3.0-Realtime的发布标志着实时语音大模型从“能听会说”向“会思考、会共情、会协作”的全面进化。其四线同步升级解决了语音助手长期存在的若干痛点：智商衰减问题通过蒸馏框架得到有效缓解，工具调用自主化让语音交互真正具备“办事”能力，共情表达使AI助手更接近真人陪伴体验，双工流畅度则打破了传统对话模式的僵化约束。On-Policy Distillation框架的提出为语音模型训练提供了一条可复用的技术路径——通过将成熟文本大模型的推理能力迁移到语音模态，有望加速语音AI的智力跃迁。从产业角度看，该模型在智能客服、教育培训、情感陪伴等场景具有直接的应用价值，可能推动语音交互产品从“指令式”走向“对话式”甚至“情感式”。此外，其评测表现超越GPT-Realtime-2，也反映出国产大模型在实时语音赛道的竞争力正快速提升。