Agent进化论：从对话到协作

背景

随着大语言模型能力的提升，人与 AI 的交互方式正在经历从“指令式”到“协作式”的转变。过去，用户需要精心编写 Prompt 来向 AI 传达需求，AI 扮演的是单向响应的工具角色。但进入 Agent 时代，AI 开始参与需求讨论、方案判断和任务执行的全过程。多模态交互（尤其是语音和视频）成为越来越多人与 Agent 沟通的主要方式，这背后是技术能力从“能听能看”到“类人沟通”的跃升。火山引擎、联想天禧等厂商正在推动这一进化，让 Agent 从等待指令的工具进化为主动协作的伙伴。

核心内容

原文从三个层面阐述了 Agent 多模态交互的进化路径。

一、从等待指令到参与讨论

多模态交互改变了 Agent 进入任务的时间点——从结果生成环节前移到需求形成、方案讨论和执行监督环节。具体体现在三方面：

1. 降低沟通门槛：用户无需学习如何写 Prompt，可以用自然语言（语音、视频）表达需求。例如店员用 AI 制作门店宣传视频时，只需告诉 AI “帮我剪一条今天新品上架的视频”，然后通过连续对话敲定细节，就像与人类剪辑师协作一样。

2. 还原问题上下文：在编程、设计等场景中，用户往往只有一个模糊方向。通过多轮对话，Agent 可以追问关键条件、澄清模糊表达、补全上下文。TRAE Work 的“语音讨论”功能数据显示，用户平均每通对话与 Agent 交互 17 轮，60% 的对话属于探索发散型，70% 用于方案讨论，只有 30% 用于代码生成。

3. 符合工作重心转移：随着 Agent 能力增强，用户从执行者转向监督者。语音和视频成为更自然的监督方式，例如在通勤路上用语音与 Agent 讨论方案，通过屏幕观察执行状态，或打开摄像头让 Agent 结合现场画面给出判断。

二、类人沟通：迈向人与 Agent 协作的关键进化

Agent 需要具备接近人的沟通能力，具体包括四项核心能力：

1. 听觉：在真实环境（地铁、咖啡厅、户外等）中稳定听清用户。火山引擎针对 Agent 优化了回声消除（关注语音识别完整性而非人耳听感）、基于声纹识别的降噪，以及声学和语义联合理解（判断是否在与自己说话）。联想天禧 AI 看世界借助这些能力实现了自由打断、低延迟响应和高拟真音色。

2. 视觉：让 Agent 与用户共享同一个问题现场。天禧 AI 打通了实时对话、屏幕共享和摄像头共享。难点在于让 Agent 看到更有效的画面，而非全部帧。火山引擎引入选择性注意力，让 Agent 先根据用户意图创建实时视觉理解任务，再带着目标去看视频（例如在球赛中通过球衣号码追踪特定球员）。

3. 记忆：跨越单次会话实现合作。火山引擎构建三层记忆体系：增强上下文（结构化多模态信息）、短期记忆（记录几分钟内的画面/声音）、长期记忆（抽象关键行为、习惯和事件）。联想天禧据此搭建跨端、跨会话、跨场景的记忆体系，覆盖 PC、Phone、Pad，记忆可在文字、语音、视频交互中沉淀并复用。

4. 意图：参与任务定义，而非仅执行。用户说“帮我做一个权限管理系统”，协作者 Agent 会主动追问关键约束（角色分配、审批层级、系统对接等），将模糊需求变成可执行方案。

三、当多模态对话成为通用协作界面

未来，语音、视频、拍照识别、屏幕共享等能力将融合成一个持续感知、持续协作的 Agent 入口。联想天禧 AI 看世界已展示这种趋势：它把 RTC/AgentRTC、端到端语音、TTS、ASR、Seed 大模型、视觉理解、多模态传输等能力，与自身会话管理、记忆管理、跨端同步、人设管理、场景编排、上下文路由结合，呈现在多终端上。

AI 眼镜被认为是理想载体，因其天然接近人的视角，可持续接收声音、画面和环境信息，实现“随时可见、随时可说、随时可协作”的交互闭环。这种交互方式接近影视作品中钢铁侠的贾维斯或高智能方程式赛车的车载电脑——不是被动等待指令，而是持续理解环境、记住用户、适时介入、协助执行任务的伙伴。

关键要点

• 数据佐证：豆包 App 2025 年一季度音频用量环比增长约 200%，视频用量增长约 350%；近一年音视频模型日均 Token 消耗达千亿级别。联想天禧 AI 看世界从 2025 年 8 月上线到 2026 年 5 月，人均对话轮次提升至刚上线时的 1.65 倍，是传统一问一答主对话的 3 倍。
• 交互模式转变：从一次性 Prompt 指令转向多轮对话澄清需求，Agent 在需求形成、方案讨论、执行监督环节参与任务。
• 四项核心能力：听觉（稳定拾音、声纹识别、声学语义联合）、视觉（选择性注意力、关键帧优选）、记忆（三层体系：增强上下文、短期、长期）、意图（主动追问约束，参与任务定义）。
• 技术细节：火山引擎面向 Agent 优化回声消除（保护主讲人频谱）、实时打断、低延迟响应；联想天禧实现跨端记忆体系。
• 未来形态：多模态交互成为通用 Agent 协作界面；AI 眼镜等伴身硬件是理想载体，实现人与物理世界的自然交互。

意义与影响

多模态对话从“输入方式”升级为“协作机制”，标志着 Agent 从工具向伙伴的进化。这一转变首先降低了普通用户使用 AI 的门槛，使非技术用户也能通过自然语言与 Agent 协作完成复杂任务。其次，Agent 参与任务定义和执行监督，意味着人类的工作重心从“执行”转向“判断与决策”，可能重塑编程、设计、办公、内容生产等多个领域的协作模式。

从技术层面看，听觉、视觉、记忆、意图四项能力的融合，要求多模态模型在成本、延迟、精度之间取得平衡——例如选择性注意力机制通过减少无效帧处理来提升效率。同时，记忆体系让 Agent 能够积累用户上下文，形成持续协作关系，这为跨设备、跨场景的个性化服务奠定了基础。

从产业层面看，联想天禧 AI 看世界和火山引擎的实践表明，实时对话正在从“打电话模式”走向通用化，嵌入到工具、内容和现实场景中。AI 眼镜等新硬件形态的出现，将进一步推动这种交互闭环的普及。未来，AI 产品比的不仅是模型能力和任务效率，更是谁更接近用户的真实使用现场，谁能让用户更自然地持续交流、持续信任、持续协作。下一代入口将是一套围绕多模态对话建立起来的协作系统，而非单一应用或硬件。