像科学家一样思考？LLM生成研究方法的结构性研究

背景

随着大型语言模型（LLMs）在科研领域的渗透率日益提高，研究人员开始广泛利用它们来辅助甚至主导研究方法论的设计。然而，一个关键且尚未被充分解答的问题是：当仅给予最基础的提示（minimal prompting）时，LLM 默认的方法论倾向究竟是怎样的？

现有的研究往往关注 LLM 在生成代码或文本上的能力，但较少深入探讨其在“方法论建议”这一特定场景下的结构性偏差。如果研究人员过度依赖 LLM 提供的默认建议，是否会无意中缩小了自己的搜索空间，导致方法论选择的单一化？

为了解答这些问题，一篇发表于 arXiv（cs.CL 类别，提交于 2026 年 6 月 15 日）的新论文《Thinking Like a Scientist? A Structural Study of LLM-Generated Research Methods》对这一现象进行了量化分析。该研究选取了 GPT-5.1、Gemini 3 Pro 和 DeepSeek-V3.2 三款主流大模型，通过对比 LLM 生成的方法论建议与真实学术论文中的实验设计，揭示了 LLM 在方法论推荐上的系统性偏差。

核心内容

研究设计与数据源

为了客观评估 LLM 的方法论建议，研究团队构建了一个严谨的实验框架：

1. 数据来源：从近期发表的 1,000 篇计算机科学 arXiv 论文中，提取出研究问题（Research Questions）。
2. 提示策略：仅向 LLM 提供这些从论文中提取出的研究问题，不提供其他背景信息或约束条件。这种“最小化提示”旨在捕捉模型在缺乏特定引导时的“默认”方法论倾向。
3. 对比基准：将 LLM 生成的方法论建议，与对应原始论文中实际采用的实验清单（experimental inventory）进行对比。
4. 核心逻辑：由于输入仅包含研究问题，因此测量到的差异反映的是 LLM 的初始建议，而非这些建议是否“最优”。这有助于剥离模型优化能力的影响，纯粹观察其默认的知识分布和推荐偏好。

结构化特征提取与分类

研究团队并未仅做定性比较，而是采用了结构化的量化方法：

• 特征提取：从 LLM 建议和原始论文中分别提取结构化的方法论特征。
• 共享分类法映射：将提取的特征映射到一个共享的分类法（shared taxonomy）中，涵盖多个维度，包括：
  • 模型提供者（Model Provider）
  • 数据集任务类型（Dataset Task Type）
  • 评估指标类型（Evaluation Metric Type）

主要发现：显著的结构性偏差

通过量化分析，研究揭示了 LLM 在方法论推荐上的几个关键结构性特征：

1. 模型提供者选择的极端不平衡

在所有分类维度中，模型提供者（Provider Choice） 维度表现出最强的不平衡性。其 Jensen-Shannon 散度（Jensen-Shannon divergence，一种衡量概率分布差异的指标）是其他任何分类维度的 3 到 5 倍。

• 冷门模型被严重低估：那些仅出现一次或属于学术/小众社区的模型（Other/Academic single-occurrence models），在 LLM 的建议中被低估了 23-24 个百分点。
• 热门模型被轻微高估：而那些被反复使用的学术或社区主流模型，则被轻微高估了 4-6 个百分点。

这表明 LLM 倾向于推荐“主流”或“常见”的模型，而忽略了那些可能更适合特定小众场景但知名度较低的替代方案。

2. 方法论搜索空间的显著收缩

LLM 建议的方法范围远比真实论文中的实际选择要狭窄：

• 有效实体数量急剧下降：真实论文中涉及的有效模型实体数量为 1,232 个，而 LLM 建议的有效模型实体数量仅收缩至 59-96 个。
• 模型间的一致性高于模型与论文间的一致性：不同 LLM 之间的排名相关性（inter-LLM rank correlations，0.55-0.68）普遍高于 LLM 建议与原始论文之间的相关性（LLM-to-paper correlations，0.33-0.56）。

这一发现表明，尽管不同 LLM 可能存在细微差异，但它们共享着相似的“扭曲”或“偏见”。它们都倾向于收敛到一套有限的、主流的选项池中，而不是像人类研究者那样根据具体情境探索更广泛的可能性。

3. 输出是查询特定的，但经过过滤

研究通过流行度基线（Popularity baselines）、BM25 检索校准以及论文级别的相似性测试确认：LLM 的输出确实是针对查询的具体响应（query-specific responses）。然而，这种响应是通过一个更狭窄的选项集进行过滤后的结果。换句话说，LLM 并没有完全“理解”所有可能的科学方法，而是基于其训练数据中的高频模式，在有限的候选集中做出了选择。

关键要点

• 默认倾向存在系统性偏差：在仅给定研究问题的情况下，LLM 的方法论建议并非随机或完全中立的，而是存在显著的结构性偏差，尤其体现在对模型提供者的选择上。
• “马太效应”在方法论推荐中显现：LLM 显著低估了小众、一次性或学术性模型（低估幅度达 23-24%），而轻微高估了主流、复用率高的模型。这可能导致科研创新中对非主流但可能更优方法的忽视。
• 搜索空间大幅收窄：LLM 建议的有效模型实体数量从真实世界的 1,232 个骤降至 59-96 个，表明 LLM 极大地压缩了方法论的探索空间。
• 跨模型共识大于跨领域适配：不同 LLM 之间的建议一致性（相关性 0.55-0.68）高于它们与真实论文实践的一致性（相关性 0.33-0.56），说明 LLM 的“集体偏见”是主要特征，而非对特定研究问题的精准适配。
• 风险在于“无交叉验证”的依赖：如果研究人员不加批判地依赖 LLM 的建议，而不进行交叉检查或主动探索替代方案，可能会无意中将自己限制在一个更集中、更保守的方法论搜索空间中。

意义与影响

这项研究对当前 AI 辅助科研的实践具有重要的警示意义：

1. 对研究者的警示：研究人员应意识到，LLM 并非一个全知全能的科学顾问，而是一个受限于训练数据分布和主流偏见的推荐引擎。过度依赖 LLM 可能导致方法论选择的同质化，抑制创新。在进行研究设计时，应主动将 LLM 的建议作为起点而非终点，并刻意寻找那些被 LLM 低估的替代方案。
2. 对模型开发的启示：模型开发者可能需要考虑在微调或提示工程中引入更多样化的方法论数据，以缓解这种“主流偏见”。或者，在输出建议时，模型应明确提示用户注意潜在的选择偏差。
3. 对科研生态的影响：如果越来越多的研究者依赖 LLM 进行方法论设计，可能会导致学术文献中方法论的进一步收敛。长期来看，这可能削弱科学研究的多样性和鲁棒性，因为那些非主流但可能更有效的实验设计将被系统性忽略。
4. 方法论评估的新维度：该研究提出了一种量化评估 LLM 在科学推理中偏差的新框架，即通过结构化特征映射和分布差异分析（如 Jensen-Shannon 散度）来衡量模型的“默认倾向”。这为未来评估 LLM 在专业领域（如医学、法律、工程）的建议可靠性提供了可借鉴的方法论。

总之，LLM 在辅助科研方面潜力巨大，但其“像科学家一样思考”的能力仍带有强烈的统计学偏见。研究人员需保持批判性思维，将 LLM 视为一种高效的“灵感生成器”而非“决策制定者”，以避免陷入方法论的“信息茧房”。