auto-psych：利用智能体驱动的理论发现与实验自动化心智科学

背景

随着人工智能技术的演进，基于 AI 的科学自动化正逐渐成为现实。在这一进程中，智能体（Agents）被广泛用于生成假设、设计实验以及分析数据，从而加速科学发现的闭环。然而，数据收集往往是这一自动化流水线中的主要瓶颈。

心理学，特别是计算认知科学（Computational Cognitive Science），因其独特的学科属性，成为 AI 实验技术受益的理想领域。在该领域，理论通常以代码形式表示，且众包平台（Crowdsourcing platforms）使得大规模、程序化的人类数据收集成为可能。这种“理论即代码”与“人类数据规模化获取”的结合，为自动化科学发现提供了坚实的基础。

核心内容

本文介绍了 auto-psych 系统，这是一个基于智能体的系统，旨在通过众包调查实验独立收集人类数据，并将自动化发现技术应用于计算认知科学中的理论生成过程。

测试案例：硬币翻转的随机性判断

为了验证系统的有效性，研究团队选择了一个认知心理学中的经典案例作为测试床：判断哪些硬币翻转序列在主观上看起来更“随机”。这是一个涉及人类概率直觉和认知偏差的经典心理学问题。

系统架构：嵌套的智能体发现循环

auto-psych 的核心在于其嵌套的智能体发现循环结构，该结构用于生成对人类行为的解释性理论：

1. 内层循环（Inner Loop）：负责推测、拟合和批判概率认知模型。它专注于构建和评估解释人类行为的数学或计算模型。
2. 外层循环（Outer Loop）：负责设计实验以测试这些模型。它会自动将实验部署到在线平台，收集人类参与者的数据，并对收集到的数据进行深入分析。

实验结果与验证

研究通过两个层面的实验验证了 auto-psych 的有效性：

• 合成数据验证：在合成数据上，该系统能够通过系统性实验快速且可靠地恢复“地面真值”（Ground-truth）理论。研究指出，这种嵌套结构对于模型性能至关重要。
• 人类实验验证：在三个独立的人类实验序列中，auto-psych 发现的理论在拟合人类数据方面，表现优于从现有科学文献中生成的理论。

这一结果证明了在计算认知科学领域，自动化数据收集与理论发现的可行性。

关键要点

• 自动化科学发现的瓶颈突破：传统 AI 科学自动化受限于数据收集效率，而心理学领域的程序化众包机制有效解决了这一痛点。
• 嵌套智能体架构：auto-psych 采用双层智能体结构，内层专注模型构建与批判，外层专注实验设计与数据分析，两者协同工作以实现理论迭代。
• 理论生成优于文献综述：在针对人类随机性判断的实验中发现，AI 自主生成的理论比基于现有科学文献推导出的理论更能准确拟合人类行为数据。
• 计算认知科学的范式转变：该工作展示了将理论表示为代码，并利用 AI 进行大规模人类行为数据采集和模型验证的新范式。
• 系统可靠性：通过合成数据测试证实，该嵌套结构能够稳定地恢复已知真值，证明了其方法论的稳健性。

意义与影响

auto-psych 的研究成果标志着计算认知科学领域的一个重要里程碑。它不仅仅是一个特定的实验工具，更展示了一种新的科学研究方法论：

1. 加速科学发现周期：通过自动化假设生成、实验设计和数据分析，大幅缩短了从理论提出到验证的时间周期。
2. 挖掘隐性人类行为模式：AI 系统能够发现人类行为中复杂的、非线性的概率认知模式，这些模式往往难以通过传统的人工文献综述完全捕捉。
3. 推动 AI for Science 的发展：该工作为其他需要大量人类行为数据的学科（如社会学、经济学、行为科学）提供了可借鉴的自动化实验框架。
4. 人机协作的新形态：系统并非完全取代人类科学家，而是通过自动化处理繁琐的数据收集和初步模型拟合，让科学家能更专注于高阶的理论构建和解释。

总之，auto-psych 证明了利用智能体驱动的理论发现与实验，可以在计算认知科学中实现高效、可靠且有时优于传统方法的科学发现。