阿里发布Qwen-Audio-3.0-Realtime实时语音大模型

背景

2025年7月15日，阿里巴巴发布了其实时语音交互对话模型 Qwen-Audio-3.0-Realtime。这是继 5 月份 Preview 版本（Fun-Realtime-Audiochat）在全球权威第三方评测平台 Artificial Analysis 榜单斩获两项冠军、超越 GPT-Realtime-2 之后的一次全面升级。实时语音模型一直面临“低延迟 vs 高智商”的 trade-off：为了压低时延，模型往往牺牲推理深度，导致智商下降。同时，传统语音助手在 Agent 工具调用、自然对话情感表达以及双工交互流畅度方面都存在明显短板。阿里此次在四条主线上同步升级，旨在打造"又快又聪明"的实时语音 AI。

核心内容

Qwen-Audio-3.0-Realtime 提供了两个版本：推理更强的 Plus 版本和速度更快的 Flash 版本，适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。模型在以下四个维度进行了重点升级：

1. 智商提升：针对日常对话、简单问答等对时延敏感的场景，模型可直接生成回复，实现毫秒级响应。在语音问答基准 VoiceBench 上，以书面化的标准 prompt 和口语化的 prompt 提问，Plus 版本得分分别为 92.5 和 90.5，仅下降 2.0 分，说明模型能扛住真人说话的随意性。在更难的多轮音频对话挑战 AudioMultiChallenge 基准测试中，Flash 版本标准 prompt 和口语化 prompt 得分分别为 43.6 和 38.1，仅下降 5.5 分。

2. Agent 工具调用：传统语音模型往往"能聊天不能办事"，需要用户明确说出"帮我打开 XX"才能触发工具，且切回闲聊后容易出现上下文断裂。Qwen-Audio-3.0-Realtime 无需明确指令即可自行调用外部工具，调用结果自动融入对话记忆，后续多轮追问可以接着使用。例如用户先问"附近有什么川菜馆"，再追问"评分 4.5 以上的哪家最近"，模型会自动衔接地图工具的上一次返回结果继续检索。模型基于 FunctionCall 标准协议，可以完成 MCP、API、知识库的引入。

3. 共情对话：模型摆脱了传统语音助手的机械感，可根据对话语境动态调整语气、节奏、音调与情感。例如在辩论场景中能准确抓取对方论点并快速组织反驳，同时保持恰当的语气强度；在情感陪伴中则通过语调、节奏与笑声、叹息、犹豫等副语言信号进行共情回应。在专门评估语音自然度的 S2S 语音指令遵循公开基准 VStyle 上，模型取得 SOTA 成绩。

4. 双工交互流畅度：模型能够边说边听，像真人一样随时打断、插话，而非一问一答的对讲机模式。内置"多模态感知的双工控制"子模型，通过分析音频信号、语义内容与说话人声纹特征来判断如何交谈。在餐厅、开放工区等嘈杂环境中不会被背景噪声误打断；在多人讨论中能锁定主对话对象、忽略旁听者交谈；在多说话人切换时能根据语义线索自然过渡。此外，API 预留了 audio_prompt 字段，用户可上传提前录制的音频样本锁定声纹，聚焦特定说话人。

这些能力的提升源于模型采用的 On-Policy Distillation（在线策略蒸馏）框架：研究团队将文本大模型的完整推理能力蒸馏至语音模型——语音模型一边自己生成回答，一边由文本大模型实时纠正。同时引入多教师蒸馏策略：口语多轮偏好教师保障口语化表达与指令遵循，通用教师负责基础问答与推理，Agentic 教师锁定工具调用与复杂任务，音频理解教师处理副语言与音频语义信息，确保模型在四条主线上均衡发展。

关键要点

• 发布时间与版本：2025年7月15日发布，提供 Plus（强推理）和 Flash（快速度）两个版本。
• 智商表现：在 VoiceBench 上 Plus 版本口语化 prompt 得分 90.5（仅比书面化下降 2.0）；在 AudioMultiChallenge 上 Flash 版本口语化 prompt 得分 38.1（仅比书面化下降 5.5）。
• Agent 能力：无需显式指令即可调用外部工具，调用结果自动融入对话记忆，支持多轮连续检索；基于 FunctionCall 标准协议，可引入 MCP、API 和知识库。
• 共情对话：动态调整语气、节奏、音调与情感，使用笑声、叹息、犹豫等副语言信号；在 VStyle 基准上取得 SOTA 成绩。
• 双工交互：多模态感知的双工控制子模型支持打断、插话，具备嘈杂环境抗干扰、主说话人锁定、多说话人自然切换能力；API 支持音频样本锁定声纹。
• 技术框架：采用 On-Policy Distillation（在线策略蒸馏），并结合多教师蒸馏（口语多轮偏好、通用、Agentic、音频理解四教师）。
• 历史成绩：5月 Preview 版本（Fun-Realtime-Audiochat）在 Artificial Analysis 榜单的"语音推理能力"和"对话流畅度"两项指标上均以 97.6% 登顶，超越 GPT-Realtime-2。

意义与影响

Qwen-Audio-3.0-Realtime 的发布代表了实时语音 AI 从"能听会说"向"能思善感、能办能干"的跨越。其核心突破在于打破了延迟与智商不可兼得的传统定式，通过在线策略蒸馏将文本大模型的推理能力高效迁移至语音模态，使得实时语音模型在保持毫秒级响应的同时，具备了接近文本模型的 Agent 调用能力与深层次对话理解能力。

对于产业应用而言，该模型在智能客服场景中可实现无需关键词触发的主动工具调用，大幅提升用户效率和体验；在教育培训与情感陪伴场景中，真实的副语言表达和共情能力使 AI 更接近人类助手的自然交互；双工流畅度的提升则让多轮对话、多人讨论等复杂场景变得顺畅可行。特别是 audio_prompt 字段的支持，使得企业可以定制化锁定特定说话人，在会议记录、客服质检等场景有实际价值。

从技术趋势看，多教师蒸馏策略为行业提供了一条可复现的范式：不同教师分别专攻不同维度，最终汇聚到一个统一的语音模型中，有效解决了多目标学习的平衡难题。这一思路未来可能被更多实时多模态模型所采纳。此外，模型在 VStyle 等公开基准上取得 SOTA，也为实时语音模型的质量评估提供了新标杆。

总体而言，Qwen-Audio-3.0-Realtime 不仅是阿里在语音 AI 领域的一次重要迭代，更标志着实时语音交互正从"一问一答"的机械模式步入"类人对话"的新阶段，有望推动语音助手在更多严肃场景中落地，并重新定义用户对 AI 语音交互的期待。