Tool-Making and Self-Evolving LLM Agents in Low-Latency Systems

背景

生产环境中，大型语言模型（LLM）智能体经常在每个请求上为相同的程序步骤重新生成代码，导致不必要的延迟和可靠性问题。传统的推理时编码循环（inference-time coding loop）在重复性任务中效率低下，且不同运行之间产生不可预测的变异性，使得系统难以稳定运行。现有方法依赖一次性代码生成或静态工具调用，缺乏对动态环境（如后端 schema 变化、数据漂移）的适应能力。

核心内容

该论文提出一种智能体工具制造管线（agentic tool-making pipeline），在部署前将重复的标准操作步骤（SOP）编译为经过验证且版本化的工具，从而替代推理时编码循环。具体流程如下：

1. 工具制造：工具制造器（tool-maker）从实时环境收集执行轨迹，观察后端 schema 与数据值，生成候选工具，并根据标注案例对工具进行修复确认。
2. 部署与应用：生产智能体在运行时直接调用这些预编译的工具，仅在必要时才回退到代码生成。
3. 实验场景：将方法部署于某履行中心（Fulfillment Center）的告警分类系统，该智能体需根据包含 44 个节点的 SOP，在异构指标后端上诊断告警。

实验结果：

• 在生产中，工具调用使 p50 延迟降低 42%。
• 在 1500 个历史告警数据上，工具调用通过抑制重复步骤中的运行间方差，将端到端错误率最高降低 53%。
• 由于工具返回紧凑的结构化判定结果，系统可采用更简单的直接调用架构（direct-call architecture），在控制消融实验中进一步将 p50 延迟降低 62%。
• 版本化的工具还提升了可审计性，并暴露了规范缺口（specification gaps）及上游数据漂移（upstream data drift）。

关键要点

• 延迟优化：工具调用取代重复代码生成，生产环境 p50 延迟降低 42%；消融实验通过简化架构进一步降低 62%。
• 错误率降低：工具调用消除重复步骤的运行间方差，在历史数据上端到端错误率降低最高 53%。
• 自动化工具制造：工具制造器基于实时执行轨迹、后端 schema 与值、标注案例，自动生成并修复工具。
• 运行时回退机制：生产智能体优先调用预编译工具，仅在必要时才走代码生成路径，平衡速度与泛化能力。
• 可审计性与可观测性：版本化工具提供追溯能力，并能及时发现规范缺陷与数据漂移，便于运维监控。
• 架构简化：工具返回结构化判定结果，使系统从复杂的动态编码架构降级为更简洁的直接调用架构。

意义与影响

该工作展示了自进化智能体（self-evolving agents）在工业级 LLM 系统中的实际价值。通过将重复性步骤预编译为版本化工具，系统在延迟、可靠性、可审计性和运维便捷性上均获得显著提升。工具制造管线能够动态适应环境变化（如 schema 与数据分布迁移），降低了对人工维护工具库的依赖。该方法为低延迟、高可靠性的 LLM 应用（如告警分类、流程自动化、决策支持）提供了一条切实可行的工程路径，推动了 LLM 从一次生成向可持续、可迭代的工业级部署范式演进。