诊断资源受限视觉智能体中共享状态协作的失效模式

背景

随着模块化视觉推理系统的兴起，多步协作已成为主流范式。在这些系统中，多个模型组件（如检测器、阅读器、推理器）通过共享的工作内存（Shared Working Memory）进行交互，以完成复杂的文档视觉问答（Document Visual Question Answering, DocVQA）等任务。

然而，现有的研究多聚焦于大型模型在理想条件下的表现，对于在**资源受限（Resource-Constrained）**环境下，即使用参数量较小（如 4B--8B 参数）的“弱学习者”模型时，中间状态演化的失效动力学（Failure Dynamics）却鲜有深入探讨。特别是在低容量 regimes 中，噪声是如何积累、传播并最终导致系统崩溃的，这一领域仍存在巨大的认知空白。

核心内容

本文深入研究了弱学习者（4B--8B 参数规模的模型）在协作推理中的失效模式，核心视角是噪声积累（Noise Accumulation）。为了系统化地诊断这一问题，研究团队引入了 CoSee——一个审计框架。

CoSee 框架与信息流追踪

CoSee 将协作过程形式化为一个“读-写-验证”（Read-Write-Verify）循环。该框架旨在精确追踪信息在文档视觉问答任务中的流动路径，特别是当任务涉及多页文档、图表以及基于网页的内容时。

反直觉的发现：幻觉放大

通过对多页文档、图表和网页基准测试的分析，研究团队发现了一个反直觉的现象：原始的共享工作区（Naive Shared Workspaces）往往不是解决幻觉，而是放大幻觉。 当多个小模型组件在没有严格验证机制的情况下共享中间状态时，错误信息会被反复引用和强化。

两种主导的失效模式

研究明确识别出两种导致性能下降的主导失效模式：

1. 噪声强化（Noise Reinforcement）： 未 grounding（无事实依据/无来源支撑）的笔记或中间推理结果被后续步骤错误地复用为证据。这种“以错证错”的机制导致错误信息在协作链条中不断累积和放大。

2. 策略坍缩（Policy Collapse）： 随着上下文中添加的上下文信息增多，模型倾向于生成未明确指定、简短且缺乏细节的答案。原本旨在提供丰富信息的共享状态，反而导致模型输出质量的退化，表现为回答过于简略且偏离核心事实。

算力与性能的负相关

通过成本-准确性帕累托前沿（Cost-Accuracy Pareto Frontiers）分析，研究揭示了一个关键结论：在没有显式验证（Explicit Verification）机制的情况下，增加计算资源（Compute）可能与性能下降呈负相关。 这意味着，对于资源受限的智能体，单纯堆砌算力或增加模型复杂度并不能解决协作中的根本问题。

关键要点

• 核心问题：资源受限的视觉智能体（4B--8B 参数模型）在基于共享工作内存的多步协作中，面临严重的中间状态演化失效问题。
• 诊断工具：提出了 CoSee 审计框架，通过形式化的“读-写-验证”循环来追踪和审计信息流。
• 主要失效模式：
  • 噪声强化：无依据的中间笔记被当作证据复用，导致幻觉放大。
  • 策略坍缩：过多的上下文导致模型倾向于输出简短、未明确指定的答案，降低回答质量。
• 算力悖论：缺乏显式验证时，增加计算资源不一定提升性能，甚至可能导致性能下降。
• 瓶颈所在：对于资源受限的智能体，性能瓶颈不在于推理深度（Reasoning Depth），而在于通信保真度（Communication Fidelity）。

意义与影响

这项研究为模块化智能体的设计提供了重要的机制性基准（Mechanistic Baseline）。它挑战了“更多算力或更深的推理层级必然带来更好性能”的传统假设，指出在资源受限场景下，通信保真度才是制约系统可靠性的关键瓶颈。

对于工业界和学术界而言，这意味着在设计多智能体协作系统时，不能仅关注单个模型的能力或共享内存的容量，而必须引入严格的验证机制（如 CoSee 所倡导的 Read-Write-Verify 循环）来确保信息流动的准确性。这一发现为构建更可靠、更高效的小型化视觉智能体提供了明确的优化方向：即通过提升模块间通信的保真度，而非单纯增加计算开销，来实现性能的突破。