多头潜在控制让LLM智能体决策节省九成算力
速览
该研究提出多头潜在控制方法，通过读取冻结大模型的隐状态轨迹来生成部署时的控制信号，让模型自主决定是否继续推理、使用工具或求助。该方法无需修改原模型，仅需在后端训练轻量层，即可在多种任务中显著降低大模型使用率（最高90.7%），同时保持性能。这一成果为LLM智能体高效决策提供了统一接口，降低成本并提升鲁棒性。
AI 深度解读
背景
大语言模型（LLM）正越来越多地被部署为智能体（agent），但在推理时，可靠的智能体行为远不止于预测下一个 token。实际应用中，智能体需要能自主决定是否继续当前推理、是否交给更强模型、是否需要额外信息、是否调用外部工具，或在给定设置下选择放弃回答。现有方法主要通过输入侧的提示级路由（prompt-level routing）、外部编排或任务特定微调来实现这些决策，但这些方式成本高、维护困难，且随着模型主干的更新而难以迁移。一个重要的问题是：能否直接从模型的生成过程中（即隐状态轨迹）推断出这类控制决策？
核心内容
本文提出 Multi-Head Latent Control（多头隐状态控制），一种轻量级层，它读取冻结的 LLM 或 VLM 的隐藏状态轨迹，在部署时产生控制信号。该方法包含两个专用头：
- Capability Head（能力头）：预测当前模型是否能解决当前实例，还是应交给更强的协作模型。
- Resolution Head（分辨率头）：预测合适的分辨决策——澄清（Clarification）、工具调用（Tool Use）、放弃回答（Abstention）或直接回答（Direct Answering）。
两个头仅在同一冻结 LLM 主干的隐状态轨迹上训练，从而实现事后适配（post hoc adaptation），无需修改模型本身。在语言和视觉-语言设置中，Multi-Head Latent Control 持续改善多模型系统的质量-成本权衡，支持从部分生成中提前切换（early handoff）以及更准确的干预决策。在路由执行场景（小模型 + 大模型）中，该方法在 AndroidWorld 上减少了大模型使用量最多达 90.7%，在多个基准上平均减少 27-53%，同时保留了大部分大模型的性能。此外，学习到的控制信号还提升了工具调用决策质量，相对得分提升最多达 +158%，并减少了 65.5% 的遗漏必需工具调用。
关键要点
- 轻量级层：Multi-Head Latent Control 是一个附加在冻结模型上的小型网络，仅利用模型内部的隐状态轨迹，无需微调主干。
- 两个专用头：Capability Head 处理模型自身能力判断（是否应该 defer），Resolution Head 处理具体行动决策（澄清、工具、放弃、直接回答）。
- 即插即用：可适配任意冻结的 LLM 或 VLM，训练仅需模型的前向隐状态，不改变原始模型权重。
- 显著成本节省：在路由系统中大幅减少对昂贵大模型的调用，例如 AndroidWorld 上减少 90.7%，多个基准平均减少 27-53%。
- 质量保持：在减少大模型使用的同时，保留大部分大模型性能，且工具调用决策质量提升显著（相对得分 +158%，遗漏减少 65.5%）。
意义与影响
Multi-Head Latent Control 提供了一种统一的接口，使得 LLM 智能体的部署控制不再依赖外部编排或提示工程，而是从模型自身的生成过程中直接学习。这种方法降低了多模型系统的维护成本和演进成本——主干模型更新时只需重新训练两个轻量头，无需重新设计路由逻辑。同时，控制信号的局部判断（capability 和 resolution）使智能体能在初期就做出高效决策，避免无用推理，尤其适合成本敏感的生产环境。该工作也为利用模型隐状态进行推理时决策控制开辟了新方向，有望推广到更复杂的智能体行为（如安全拦截、多步规划等）。