LLM 团队能否胜任“什么？在哪里？何时？”：多智能体协作的深度解读

来源：arXiv cs.CL (2026年5月28日提交) 标题：Can LLM Teams Play What? Where? When?

背景

大型语言模型（LLMs）在涉及间接推理、文化常识以及协同假设检验的任务中，仍然面临显著的性能瓶颈。尽管单体模型在单一知识检索或逻辑推导上表现优异，但在需要综合多维度信息、结合特定文化背景并进行集体决策的复杂场景中，其表现往往不尽如人意。

“什么？在哪里？何时？”（What? Where? When?，简称 ChGK）是一项著名的智力问答游戏，其核心机制并非单纯考察知识储备，而是高度奖励集体推理能力。参赛者需要在限定时间内，通过讨论、辩论和共识达成，对涵盖历史、科学、艺术等广泛领域的问题给出准确答案。这种任务设计天然适合测试多智能体系统（Multi-Agent Systems）中的协作、沟通与纠错机制。

本研究旨在探究：通过引入基于团队的交互策略，能否显著提升 LLM 在 ChGK 这类需要集体推理任务中的表现？

核心内容

为了回答上述问题，研究团队引入了三种不同的团队协作策略，并在一个专门构建的数据集上进行了严格的评估。

1. 实验设计与数据集

为了最大限度地减少数据泄露（Data Leakage）对评估结果的干扰，研究者使用了一个包含 572 道 于 2025年 发布的 ChGK 问题的数据集。这一时间设定确保了测试数据对于训练数据而言是“未来”的，从而更真实地反映模型的泛化能力和实时推理能力。

研究选取了 六个 近期发布的开源大型语言模型作为参与“团队”的成员，对比了单体模型基线与不同团队策略的表现。

2. 三种团队策略

研究定义了三种不同层级的协作模式，以模拟不同信息流通程度的团队互动：

• 投票（Voting）：这是最基础的协作模式。每个模型独立生成答案，系统通过多数投票机制决定最终答案。此模式下，模型之间没有直接的信息交流。
• 沉默团队（Silent Team）：在此模式中，引入了一名“队长”（Captain）。队长不直接参与初始推理，而是观察所有队员（其他模型）生成的最终答案，并据此做出最终决策。这模拟了人类团队中队长听取各方意见后拍板的场景。
• 健谈团队（Talkative Team）：这是信息流通最充分的模式。队长不仅观察队员的最终答案，还能看到队员提供的推理过程（Rationales）。这意味着队长可以基于其他模型的逻辑链条进行批判性思考和综合判断。

3. 主要发现

实验结果显示，基于团队的策略显著优于单体模型基线：

• 性能提升：团队策略带来了高达 20 个百分点 的准确率提升。
• 最佳表现：表现最好的团队策略达到了 44.23% 的准确率。
• 人类基准对比：在有可用人类统计数据的问题上，最佳 LLM 团队的表现已经接近人类团队的水准。

4. 深度分析：多样性与沟通的作用

研究进一步分析了模型间的差异性与沟通对性能的影响：

• 分歧与准确率：模型间的意见分歧（Disagreement）强烈预测了较低的准确率。当模型间存在较大分歧时，往往意味着问题具有高度不确定性或陷阱。
• 解释性沟通的缓解作用：尽管分歧通常导致性能下降，但**解释性沟通（Explanatory Communication）**能显著缓解这种负面影响。在“健谈团队”中，通过查看推理过程，系统能够更好地理解分歧的来源，从而做出更优的整合决策。
• 队长行为分析：研究者检查了队长是否存在“自我偏好偏差”（Self-preference bias，即倾向于选择自己生成的答案）。结果显示，没有证据表明队长存在这种偏差。相反，接触队友的推理过程显著改善了队长的判断质量。

5. 核心结论

研究指出，LLM 团队主要充当的是答案选择（Answer Selection）和错误过滤（Error-Filtering）机制，而非新解决方案的生成器（Generators of Novel Solutions）。也就是说，团队的价值不在于创造出单体模型无法产生的全新逻辑，而在于通过集体智慧筛选出最可能正确的答案，并剔除明显的错误推理。

关键要点

• 团队优于单体：在 ChGK 这种需要集体推理的任务中，多模型协作策略比单一模型基线表现更好，准确率提升可达 20%。
• 信息透明度至关重要：相比仅基于最终答案的投票或沉默决策，允许队长查看队友的**推理过程（Rationales）**能显著提升最终决策的准确性。
• 多样性是双刃剑：模型间的分歧通常与低准确率相关，但通过充分的解释性沟通，可以化解分歧带来的负面影响，甚至转化为更稳健的判断。
• 去中心化的纠错机制：LLM 团队的核心功能并非“创造新知”，而是作为“过滤器”和“选择器”，通过集体智慧过滤错误答案。
• 无自我偏好偏差：实验未发现队长模型倾向于优先选择自己生成的答案，表明在多智能体系统中，引入外部视角和队友推理有助于打破单体模型的认知局限。
• 接近人类水平：在特定条件下（有可用人类统计数据的问题），最佳 LLM 团队的表现已接近人类专家团队。

意义与影响

这项研究对多智能体系统（Multi-Agent Systems）的发展具有重要的指导意义：

1. 验证了协作推理的价值：它证实了在处理需要间接推理和文化知识的复杂任务时，模拟人类团队的交互模式（如讨论、辩论、汇总）是提升 LLM 性能的有效途径。
2. 强调了“过程”而非仅“结果”：传统的多智能体评估往往只关注最终答案。本研究证明，解释性沟通（即模型展示其思考过程）是提升团队整体表现的关键变量。这为设计下一代多智能体架构提供了方向：系统应鼓励模型输出推理链，而不仅仅是最终标签。
3. 自适应策略的前景：研究发现不同策略在不同情境下的表现差异，暗示了未来多智能体系统应采用自适应策略（Adaptive Strategies）。例如，在模型分歧较大时，自动切换到需要更多沟通的“健谈”模式，而在共识度高时采用高效的“投票”模式。
4. 为通用人工智能（AGI）提供线索：ChGK 任务要求模型具备跨领域的知识整合能力。LLM 团队在此任务上的成功，表明通过模块化、协作化的方式，可以弥补单体模型在泛化性和鲁棒性上的不足，这是通向更高级智能形态的重要一步。

总之，这项研究不仅展示了 LLM 在特定智力游戏中的潜力，更揭示了通过精心设计的交互协议，多智能体系统能够有效地模拟人类的集体智慧，从而在复杂推理任务中实现超越单体的性能。