Sandbox Coding Agents are Competitive Omni-modal Task Solvers 深度解读

背景

随着多模态大语言模型（Multimodal LLMs）的能力边界不断拓展，当前的行业趋势正迅速从单纯的文本和图像处理，向视频和音频等更复杂的媒体形式延伸。在这种背景下，学术界和工业界普遍存在一种假设：要高效、准确地解决涉及视频和音频的任务，必须依赖原生支持多模态输入的“全模态”（Omni-modal）模型。这类模型通常具备直接处理原始音频波形或视频帧序列的能力。

然而，这篇来自 arXiv（cs.CL 领域，2026年5月30日提交）的研究挑战了这一固有认知。研究团队提出，并非所有多模态任务都需要原生全模态架构。他们通过实验证明，仅具备文本和图像访问权限、并通过沙盒化工具使用接口（Sandboxed tool-use interface）进行交互的“代码智能体”（Coding Agents），在多个音频-视频基准测试中，不仅能够匹敌当前最先进的原生全模态模型，甚至在某些场景下表现更优。

核心内容

本研究的核心在于重新定义了解决复杂媒体任务的路径。研究团队并没有试图训练一个能直接“听懂”音频或“看懂”视频每一帧的巨型模型，而是构建了一套基于代码执行的智能体系统。

1. 方法论：从“摄入”到“检索” 传统的原生全模态模型倾向于“摄入”（ingest）整个媒体流，即直接将音频或视频数据输入神经网络进行处理。这种方法虽然直观，但计算成本高且容易受到噪声干扰。相反，该研究中的代码智能体采取了一种不同的策略：它们将多模态任务转化为“检索”和“信息处理”问题。

智能体通过编写代码，利用工具从转录文本（transcripts）、关键帧（frames）以及其他模态信号中提取相关证据。例如，在处理一个视频问答任务时，智能体不会直接分析视频文件，而是先调用工具提取视频字幕和关键帧图像，然后结合文本推理能力，通过代码逻辑整合这些信息来得出答案。这种“轨迹分析”（trajectory analysis）显示，其优势在于通过代码编排工具，精准地提取有用信息，而非盲目处理海量原始数据。

2. 性能对比：代码智能体 vs. 原生全模态模型 研究在多个音频-视频基准测试中对代码智能体进行了评估。结果显示：

• 匹敌 SOTA：在大多数设置下，仅拥有文本+图像访问权限的代码智能体，其表现与当前最先进的（SOTA）原生全模态模型相当。
• 局部超越：在特定的复杂推理场景或需要精确信息提取的任务中，代码智能体甚至超越了原生全模态模型和预定义的多模态智能体脚手架（multimodal agent scaffolds）。

3. 局限性与改进：失败分类学与技能注入 为了全面评估该方法，研究团队进行了过程级追踪分析（process-level trace analysis），并建立了一个失败分类学（failure taxonomy）来 characterize 代码智能体的局限性。研究发现，虽然代码智能体在逻辑编排上强大，但在特定技能缺失时容易出错。

针对这一局限，研究引入了“技能注入”（skill injection）机制。通过注入人类编写的技能或经过自我蒸馏（self-distilled）生成的技能，代码智能体的性能得到了显著提升。这表明，代码智能体的潜力可以通过外部知识的补充进一步挖掘。

4. 开源探索：Code-X 与 TerminalBench-O 为了推动开源社区的参与，研究团队引入了两个重要贡献：

• Code-X：这是一种训练配方（training recipe），结合了 OmniCoding 轨迹数据集和可验证奖励（verifiable reward）。研究团队基于此在 Qwen-3.5-9B 和 Qwen-3.6-27B 模型上提供了基线结果，展示了如何利用现有开源模型实现类似效果。
• TerminalBench-O：这是一个面向真实世界全模态处理任务的过程级基准测试（process-level benchmark）。研究团队指出，下一个前沿领域是“多模态处理”（many-modality processing），而 TerminalBench-O 旨在评估模型在复杂、真实场景下的处理能力。

关键要点

• 打破原生全模态迷思：解决视频和音频任务不一定需要原生支持这些模态的模型；仅具备文本和图像能力的代码智能体同样具备竞争力。
• 核心优势在于编排：代码智能体的强大之处在于其通过编写代码来编排工具，从转录文本、帧和其他信号中精准提取证据，将复杂的媒体理解转化为信息检索问题。
• 性能表现优异：在多个音频-视频基准测试中，代码智能体不仅匹敌 SOTA 原生全模态模型，还在部分设置中实现超越。
• 局限性可被克服：通过失败分类学分析发现，代码智能体的弱点可通过“技能注入”（包括人类编写和自我蒸馏的技能）得到显著改善。
• 开源贡献：发布了 Code-X 训练配方及 OmniCoding 数据集，并在 Qwen-3.5-9B 和 Qwen-3.6-27B 上提供了基线；同时推出了 TerminalBench-O 基准测试，聚焦于真实世界的多模态处理任务。

意义与影响

这项研究对多模态 AI 的发展路径具有深远的启示意义。

首先，它降低了构建强大多模态系统的门槛。传统上，原生全模态模型需要巨大的计算资源来处理音频和视频原始数据，且训练难度极大。代码智能体方案表明，利用现有的、强大的文本/图像大模型，配合沙盒化的工具执行环境，即可实现同等甚至更优的效果。这为开发者提供了一种更具成本效益、更灵活的技术路线。

其次，它强调了“过程”而非“结果”的重要性。通过过程级追踪分析，研究揭示了智能体如何通过中间步骤（如提取帧、转录文本）来解决问题。这种可解释性强的推理过程，比黑盒式的原生多模态模型更容易调试和优化。

最后，随着研究向“多模态处理”（many-modality processing）这一新前沿迈进，TerminalBench-O 等基准的推出将推动社区关注真实世界中的复杂任务。这不仅有助于评估模型在长视频、复杂音频场景下的鲁棒性，也为未来构建更通用、更高效的 AI 助手奠定了理论基础。代码智能体作为一种“中介”形态，可能在很长一段时间内，成为连接简单模态与复杂媒体任务之间的关键桥梁。