模型路由：看似简单实则不然

背景

模型路由（Model Routing）——即根据任务动态选择最合适的模型——是构建智能体系统（agentic system）时常见但常被低估的设计挑战。Hugging Face 团队在将路由集成到智能体系统的实践中发现，路由问题远非简单的“分类问题”，而是一个涉及成本、延迟、合规性、基础设施状态等多维度的系统优化问题。本文以他们内部构建路由器的经验为线索，揭示了三个让路由变得异常困难的维度，并分享了他们的解决思路与成果。

核心内容

1. 成本远不止模型定价本身

直观上，我们常比较模型的 API 定价来估算成本。Hugging Face 团队在 AppWorld Test Challenge 上使用同一个 CodeAct 智能体 对比了 GPT-4.1 和 Claude Sonnet 4.6。按定价算，GPT-4.1 的输入/输出 token 单价都更低，且 Sonnet 完成相同任务所需的推理步数约为 GPT-4.1 的三倍，按理 GPT-4.1 应更便宜。但实际测试 417 个任务后，Sonnet 总成本为 79 美元（约 0.19 美元/任务），GPT-4.1 总成本为 155 美元（约 0.37 美元/任务）——几乎是 Sonnet 的两倍。

原因在于缓存（caching）。智能体工作负载往往在多个步骤中重复使用大量上下文。当缓存命中率高时，有效输入成本会大幅降低。Sonnet 的缓存读取价格更低，使其从这一模式中获益更多，足以弥补其基础定价较高和轨迹较长的劣势。

结论：实际成本取决于模型、工作负载和服务基础设施之间的交互。只盯着定价表的路由器，是在针对错误的数字做优化。

2. 复杂性远不止任务难度本身

常见的路由策略是预估任务难度，将困难任务发给更强模型。但这一策略在两个方面不成立。

• 难度在路由时常常不可见。 一个看似简单的请求（如“总结这份合同”）可能触发检索、合规检查、工具调用和多轮修改；而一个高专业度的 prompt 反而可能被小型专用模型高效处理。你往往直到执行开始后才真正了解任务的难度。
• 即使能完美估计难度，它也仅是众多信号之一。 在生产环境中，路由器需要同时权衡成本、延迟、模型专业性和可靠性。企业部署还叠加了合规要求、数据驻留规则、隐私约束、已批准模型列表等。一个理想情况下应分配给某个模型的任务，可能因治理原因必须转走——路由器必须优雅地处理这一切。

路由器不是在解决单一问题，而是不断在成本、质量、延迟、合规性和可靠性之间进行平衡。

3. 延迟远不止模型速度本身

容易将延迟单纯理解为模型大小——模型越大越慢，越小越快。但用户实际体验到的延迟受更多因素影响：

• 路由本身会引入开销。
• 基础设施因素（模型运行在什么硬件上、缓存是否预热、端点负载高低）往往主导端到端响应时间。一个理论上更快的模型，如果服务条件不佳，仍然可能带来较慢的体验。
• 路由粒度：每个任务只路由一次开销很小；但每一步都进行路由（可获得更高灵活性）则意味着每个决策点都会引入延迟和操作复杂性。

忽略服务系统的路由器，也是在针对错误的现实做优化。

团队如何解决？

这些教训塑造了他们的路由器设计思路：关键转变是不再把路由当作分类问题，而是当作优化问题。算法不去问“哪个模型最适合这个任务？”，而是同时在成本、质量和延迟三个维度上寻找最优解，且足够轻量以避免自身成为瓶颈。

在 AppWorld Test Challenge 上使用 CodeAct 智能体进行测试的结果（图中蓝色方块代表路由器的不同配置，描绘出一条成本-准确率前沿曲线）：

• 配置 1（延迟优先）：准确率 84%，成本 93 美元，延迟 83 秒 —— 相比单独使用 Opus 模型，成本降低 21%，延迟降低 9%，准确率仅下降 4%。
• 配置 2：进一步压低成本。
• 而一个传统的基于难度的路由器（图中青绿色菱形）达到相近准确率范围时成本更高——它无法像基于优化的方法那样探索完整的权衡空间。
• 优化本身很轻量：每个任务约 6 毫秒、2 KB 内存，不会成为之前警告的瓶颈。

关键要点

• 模型路由的实质不是“选择模型”，而是优化整个系统。模型只是众多变量之一。
• 成本估算必须考虑缓存行为、工作负载重复模式以及服务基础设施，而不能只看 API 定价。
• 任务难度在路由时往往不可提前获知，且难度只是多目标优化中的一个维度，与合规性、延迟、可靠性等相互牵制。
• 延迟由路由开销、基础设施状态（硬件、缓存、负载）和路由粒度共同决定，不能简化为模型速度。
• 有效的路由器应将路由视为多目标优化问题，并保持足够轻量，避免自身成为系统瓶颈。
• 实际案例表明：优化方法可以在相近准确率下大幅降低成本和延迟，而传统难度路由无法灵活探索权衡空间。

意义与影响

该研究对构建智能体系统和 AI 基础设施有重要启示：路由不应被孤立地设计，而应深度理解整个服务栈（缓存、硬件、合规等）的动态特性。将路由从“分类”范式转向“优化”范式，意味着企业可以更灵活地根据业务需求（如成本优先、延迟优先或准确性优先）选择不同的运行点，而非固定地绑定到某个“最佳”模型。这也预示着未来路由器可能演变为智能体系统的核心优化组件，而非简单的模型调度器。Hugging Face 团队表示将在后续文章中披露更多技术细节，并邀请社区分享自身在路由中的权衡经验。