← 返回信息流
技术博客arXiv cs.AI·1 天前

ToolGate实现工具调用前精准控制，大幅降低多模态智能体Token成本

原标题：ToolGate: Token-Efficient Pre-Call Control for Tool-Augmented Vision-Language Agents

速览

Tool-augmented vision-language agents在执行工具调用时往往存在成本高昂且部分调用不必要的问题。ToolGate作为一种轻量级外部控制器，能够基于轨迹文本和结构特征预测是否执行工具调用，从而在调用前进行筛选。实验表明，该方法在保持跨领域平均准确率的同时，将Token成本降低至基线的64-69%，并在特定训练下进一步提升准确率。

AI 深度解读

ToolGate：面向工具增强型视觉语言代理的 Token 高效预调用控制

背景

随着多模态大模型的发展，工具增强型视觉语言代理（Tool-Augmented Vision-Language Agents）已成为研究热点。这类代理能够通过调用光学字符识别（OCR）、目标检测、图像分割等外部工具，获取外部的感知证据，从而解决复杂视觉任务中的信息缺失问题。

然而，当前的代理架构存在一个显著的效率瓶颈：在执行基于 ReAct（Reasoning and Acting）范式的交互时，代理往往会提出大量的感知工具调用请求。问题在于，并非每一次提议的调用都是必要或有益的。盲目执行所有提议的工具调用不仅计算成本高昂（消耗大量 Token），而且往往引入冗余噪声，甚至可能因无关的工具输出干扰上下文，导致最终答案质量下降。

现有的基线代理在“局部选择性”（local selectivity）上表现不佳：即代理难以区分哪些调用能真正帮助解决问题，哪些调用应当被跳过。这种缺乏预筛选机制的架构，导致了资源浪费和性能瓶颈。

核心内容

针对上述问题，研究团队提出了 ToolGate，一种轻量级的外部控制器，旨在解决“预调用控制”（Pre-Call Control）问题。其核心目标是：在代理提出感知工具调用后、但在工具输出进入上下文之前，预测该调用是否应当被执行。

1. 问题定义与基线分析

研究首先通过五个基准测试对基线代理进行了详细分析。研究发现，基线代理在工具调用的选择性上存在严重缺陷：

  • 有益与有害调用比例失衡：有益调用（Helpful calls）与有害调用（Harmful calls）的发生率相似（分别为 11.8% 和 9.9%），这意味着代理有接近一半的调用是无效或负面的。
  • 上下文影响微弱：大多数工具调用并不会改变模型对即时强制答案（immediate forced-answer）的预测。这表明许多工具输出对于当前推理步骤而言是冗余的。

2. ToolGate 架构设计

ToolGate 作为一个独立的外部控制器，不改变底层视觉语言模型（VLM）的主干结构，而是通过预测“执行”（Execute）或“跳过”（Skip）的决策来优化流程。

  • 输入特征：ToolGate 仅利用轨迹文本（trajectory text）和简单的结构特征作为输入。这种设计避免了复杂的模型微调或额外的感知模块，保持了极低的计算开销。
  • 决策机制：在 ReAct 循环中，当代理提议一个工具调用时，ToolGate 会介入判断。如果预测为“跳过”，则该工具调用被取消，其输出不会进入上下文窗口，从而节省 Token 并减少噪声。

3. 实验结果与性能

研究在两个基于 Qwen3-VL 主干网络的设置下进行了验证：

  • 跨域设置（Cross-domain settings）：

    • Token 效率：ToolGate 将 Token 消耗降低至无限制 ReAct 基线的 64%-69%。
    • 准确率：在大幅减少资源消耗的同时，保持了平均准确率不下降。

  • 匹配域轨迹训练（Matched-domain trajectory training）：

    • 在 Qwen3-VL-30B 模型上，使用匹配域的轨迹数据进行训练后，ToolGate 不仅保持了高效率，还将平均准确率进一步提升了 1.65 分。

关键要点

  • 预调用控制的重要性：在工具增强型代理中，控制“何时使用工具”与“使用什么工具”同样重要。显式的预筛选机制能显著提升代理效率。
  • 基线代理的选择性缺陷：现有 ReAct 式 VLM 代理缺乏局部选择性，有益和有害调用比例接近，且多数调用对最终答案预测无实质影响。
  • 轻量级控制器设计：ToolGate 仅依赖轨迹文本和简单结构特征进行决策，无需修改底层 VLM 架构，实现了低成本部署。
  • 显著的 Token 节省：ToolGate 能将 Token 成本降低至基线的 64%-69%，同时保持准确率稳定。
  • 训练带来的性能增益：在 Qwen3-VL-30B 上进行匹配域轨迹训练后，ToolGate 可实现平均准确率 1.65 分的提升，证明控制策略与模型能力存在协同效应。
  • 资源与性能的平衡：研究证明，工具增强型 VLM 代理的收益不仅来自更强大的感知工具，更来自对“何时值得为工具输出付费”的显式控制。

意义与影响

ToolGate 的提出标志着视觉语言代理从“盲目调用工具”向“智能决策调用”迈进了一步。其核心意义在于重新定义了工具使用的经济模型：

  1. 降低推理成本：通过减少不必要的工具调用，显著降低了 Token 消耗和延迟，这对于大规模部署和高并发场景至关重要。
  2. 提升模型鲁棒性：通过过滤掉有害或冗余的工具输出，减少了上下文噪声，有助于模型更专注于关键信息，从而在特定场景下提升准确率。
  3. 架构解耦：ToolGate 作为外部控制器，证明了控制逻辑可以与感知模型解耦。这种模块化设计使得开发者可以独立优化“决策层”和“执行层”，为构建更高效的多模态代理提供了新的技术路径。

总之，ToolGate 揭示了在构建下一代智能体时，显式的控制机制（Control）与感知能力（Perception）同等重要。未来的研究将不再仅仅关注如何获取更多信息，而是关注如何更聪明地筛选信息。

相关推荐

查看原文 →arxiv.org