多跳智能体接力:消息格式效果取决于能力等级
速览
本研究通过控制实验发现,LLM智能体多跳接力中消息格式对信息保真度的影响取决于智能体能力等级。在强智能体(高能力)下,几乎无损传递,格式影响甚微;在弱智能体(1.5B参数)下,格式效果显著放大,JSON等刚性格式产生编码代价,但固定键值模式提供抗漂移能力。注入错误后,错误会在83-100%的链中持续存在,且不影响相邻事实,说明结构提供的是保真信道而非纠错编码。研究建议格式选择应基于管线中最弱智能体的能力。
AI 深度解读
背景
随着大语言模型(LLM)被广泛部署为多智能体系统中的独立代理,代理之间如何传递信息成为一个关键问题。当多个 LLM 代理以接力方式逐跳(multi-hop relay)传递消息时,消息的格式(如自由文本、结构化 JSON、三元组等)是否会影响最终的信息保真度?现有文献存在两种相互矛盾的结论:一类研究声称结构化消息格式能降低通信成本且不损害准确性;另一类则警告强行施加格式会破坏生成质量。然而,这两种观点都只关注单跳生成,没有测量消息经过多跳中继时的累积效应——在多跳场景中,起主导作用的是复制保真度(copy fidelity)而非一次性生成准确度。本文通过设计受控实验,首次系统考察了消息格式在不同代理能力层级下的多跳中继表现,揭示了格式效应是层级依赖的,并提出了“格式带来的是忠实通道而非纠错码”的核心观点。
核心内容
本研究构建了一个受控的中继测试平台(relay testbed)。实验材料为 12 个程序化生成的原子事实(atomic facts),每个事实被编码成一份简报。这些简报通过五种不同的消息格式在六跳中逐跳重新编码:
- 自由自然语言(free NL):无额外约束的普通文本。
- 精确指令自然语言(precision-instructed NL):在自然语言基础上附加明确指令,要求内容精确。
- JSON:标准 JSON 对象结构。
- 三元组(triples):主体-谓词-客体三元组。
- 键值对(key-value):简单的键值列表。
每一跳,代理接收到前一个代理输出的消息后,按照指定格式重新生成下一跳的消息。最终,一个固定的强评分器(fixed strong grader)将每跳输出与程序化生成的真实值(ground truth)进行比对,计算召回率(recall)等指标。实验还设置了两个中继能力层级(relay-capability tiers):一个强中继(如大模型,性能接近无损)和一个弱中继(1.5B 参数模型)。此外,还引入了认知负荷条件(cognitive-load condition,即在每跳中额外增加干扰信息)和配对分叉错误注入(paired-fork error injection,即在某跳故意注入一个错误值,观察其传播)。
主要发现如下:
-
强中继下,忠实指令使多跳中继几乎无损。在“忠实中继”(faithful-relay)指令下,强中继模型在六跳后的召回率几乎不下降,并未出现典型的“电话游戏”式信息崩溃。即使添加每跳认知负荷,各格式的保真度变化也仅在 ±1.8 个百分点以内,但生成成本(如 token 消耗)却增加了 24%–53%。
-
弱中继下,格式效应急剧放大且排名翻转。对于 1.5B 参数弱模型,六跳召回率的跨格式差异从第一跳的 2.3 个百分点扩大到第六跳的 20.5 个百分点,扩大了 8.7 倍。这背后有两种相反的机制在起作用:一是刚性格式(如 JSON、三元组)带来的“编码代价”(encoding toll),即弱模型在生成结构时容易出错;二是固定键 JSON 模式特有的“漂移抵抗”(drift resistance),即一旦结构固定,信息在后续跳中不易被无意修改。这两种机制相互竞争,导致格式的优劣排名在传输过程中发生翻转。
-
错误注入后,错误值被忠实保留,且不扩散到相邻事实。在配对分叉注入实验中,一个被故意注入的错误值一旦出现,在 83%–100% 的链中会持续保留到最后一跳,且保留率与每种格式对真实值的保留率高度一致。更重要的是,错误值的存在并未对邻近的原子事实造成可检测的附带损害(collateral damage)。这表明,结构化消息格式提供的是一条“忠实、错误定位”的通道(faithful, error-localizing channel),而不是一条纠错码通道(error-correcting code)——它不会主动纠正错误,但能确保错误信息被准确传递且不污染其他信息。
关键要点
- 消息格式对多跳中继的影响并非单一,而是依赖于管道中最弱代理的能力层级。强中继下格式几乎不影响保真度,弱中继下格式差异显著放大。
- 强中继模型在忠实指令下可实现几乎无损的多跳中继,打破“电话游戏”必然崩溃的常识,但需注意附加认知负荷会显著增加成本。
- 弱中继下,格式效应由两种相反机制驱动:刚性格式的编码代价(导致初期丢失)和固定键 JSON 模式的漂移抵抗(阻止后期漂移),两者共同造成格式排名在传输中翻转。
- 错误注入实验表明,无论采用何种格式,错误一旦产生,都会以高概率忠实传递至终点,且不会外溢到相邻事实。格式提供的是“忠实通道”而非“纠错机制”。
- 格式选择应遵循管道中最弱中继的能力:若管道中存在弱模型,应优先选择能平衡编码代价与漂移抵抗的格式;若均为强模型,则可自由选择格式,但需考虑成本。
意义与影响
该研究从根本上澄清了 LLM 代理间消息格式的争议,指出此前文献的矛盾源于忽略了多跳中继的
