人类成年人与大语言模型作为科学家：谁从主动探索中获益更多？

背景

在因果学习（causal learning）的长期研究中，存在一个著名的现象被称为“合取劣势”（conjunctive handicap）。具体而言，成年人在识别“合取因果规则”（conjunctive causal rules）时表现较差，即当一个结果需要多个原因同时存在才能触发时，人类往往难以准确推断出这一规则。相比之下，人类在“析取设置”（disjunctive settings，即任一原因出现即可触发结果）中表现更好。

然而，现有的大多数关于这一现象的实验都依赖于“被动观察”范式（passive observation paradigms）。在这种范式下，学习者只能观察数据，无法控制证据的生成，且可用的证据样本通常非常有限。这种缺乏主体能动性（agency）的实验环境是否真实反映了人类在现实世界中的认知能力，一直是一个值得探讨的问题。

核心内容

本文旨在探究当赋予人类主体能动性（即允许主动探索）时，上述的“合取劣势”是否依然存在。研究团队使用了一个修改版的“布洛基特探测器”（blicket detector）任务来进行实验。

1. 实验设计：主动探索 vs. 被动观察 在传统的被动观察任务中，参与者只能观看物体被放置在探测器上的结果。而在本研究的主动探索任务中，成年参与者可以自由地干预实验过程，通过主动放置不同的物体组合来测试因果关系，从而识别出哪些物体是“布洛基特”（即能触发探测器的因果对象）。实验设置了两种规则结构：

• 合取规则：需要两个特定物体同时存在才能触发。
• 析取规则：任意一个特定物体存在即可触发。

2. 人类表现：主动探索显著改善推理能力 研究结果显示，当允许成年人进行主动探索时，他们在合取因果推理方面的表现得到了显著改善。这表明，赋予学习者控制证据生成的权力，能够有效克服被动观察带来的认知偏差。不过，尽管表现提升，推断合取规则仍然比推断析取规则需要更多的测试次数，说明合取规则本身的逻辑复杂性并未完全消失。

3. 大语言模型（LLMs）的表现对比 研究进一步将人类的表现与一系列大语言模型（LLMs）在同一设定下进行了对比。

• 假设推断准确率：部分最先进的模型在假设推断的准确率上已经接近人类水平。
• 探索策略效率：然而，这些模型往往表现出比人类更低效的探索策略。
• 合取-析取差距：与人类类似，LLMs 在合取规则和析取规则之间也存在显著的性能差距（gap），且这种差距并未因为模型的强大能力而完全消除。

简而言之，虽然顶级 LLMs 在最终答案的准确性上可以媲美人类，但在“如何寻找答案”的过程中，它们并不像人类那样能从主动探索中获得同等程度的效率提升，且在处理复杂的合取逻辑时依然面临挑战。

关键要点

• 合取劣势的存在性：在被动观察且证据有限的情况下，人类难以识别需要多原因同时作用的合取因果规则。
• 主动探索的价值：赋予主体能动性（主动干预和生成证据）能显著改善人类在合取因果推理中的表现，证明“合取劣势”部分源于实验范式的限制而非人类认知的固有缺陷。
• LLMs 的准确率与效率分离：尽管某些 SOTA（State-of-the-Art）大语言模型在因果假设推断的准确率上接近人类，但其探索策略的效率较低。
• 模型与人类的共性挑战：大语言模型同样表现出合取规则与析取规则之间的性能差距，表明处理复杂的逻辑组合仍是当前 AI 模型的共同难点。
• 方法论启示：评估 AI 认知能力时，仅看最终准确率是不够的，探索策略（exploration strategies）的效率也是衡量智能水平的重要维度。

意义与影响

这项研究对认知科学和人工智能领域均有重要启示：

1. 重新评估人类认知能力：传统上认为人类在复杂因果推理中存在固有缺陷的观点可能需要修正。研究表明，这种缺陷很大程度上是由实验环境缺乏互动性造成的。在允许主动探索的真实或模拟环境中，人类的推理能力远超被动观察下的表现。
2. AI 评估的新维度：对于大语言模型而言，仅仅在静态数据集上测试准确率已不足以全面反映其“科学家”潜质。研究指出，LLMs 在探索策略上的低效性提示我们，未来的 AI 研究应更加关注智能体在动态环境中的主动学习和探索效率，而不仅仅是结果的正确性。
3. 人机协作的潜力：人类在主动探索中展现出的高效策略，与 LLMs 在假设生成上的准确性形成互补。这为人机协作提供了理论基础：人类可以提供高效的探索路径，而 LLMs 可以辅助进行复杂的假设验证和推理。
4. 因果 AI 的发展方向：研究强调了因果学习中的“主动干预”价值。未来的因果 AI 模型可能需要引入更多的主动学习（active learning）机制，通过模拟人类的主动探索过程来提升对复杂因果结构（如合取规则）的理解能力。