NLP研究：人类语义搜索模式LLM无法复制

背景

人类语义记忆的检索过程可以被视为在概念空间中的导航。以往研究多采用行为实验来刻画人类在语义搜索中的策略，例如通过词语流畅性任务（verbal fluency task）观察受试者生成类别词时的顺序模式。近年来，大型语言模型（LLMs）在自然语言处理任务上表现出色，但其语义搜索的内在动态是否与人类相似尚不清楚。本文作者利用自然语言处理中的轨迹分析方法，系统比较了人类与三种主流 LLM（GPT-4o、Gemini-2.5-Pro、Claude-Sonnet-4.5）在语义搜索中的行为差异，并探索了温度参数（temperature）对模型搜索策略的调节作用。

核心内容

研究基于语义记忆检索的“概念空间导航”理论框架，采用词语流畅性数据进行比较。82名人类受试者完成词语流畅性任务（如列举“动物”类别中的词），同时三种 LLM 在八个不同温度设置（从低温到高温）下生成相同类别的词语列表。作者随后对每一组输出应用基于轨迹的自然语言处理指标，量化三个互补维度：

• 熵（entropy）：衡量每一步之间步长（step size）的可预测性，反映搜索的随机性或规律性。
• 到下一点的距离（distance to next）：连续两步语义步骤之间的余弦距离，反映局部语义跳跃的大小。
• 到重心的距离（distance to centroid）：每个生成词到所有词整体语义重心的距离，反映搜索的全局离散程度。

实验结果表明：

1. 人类在所有三个指标上均显著高于所有 LLM：人类生成的词语序列具有更高的熵、更大的相邻语义步长，以及更广的全局离散度。这意味着人类的语义搜索更加多变、更具探索性（exploratory）。
2. 温度调节仅能产生部分对齐：当设置不同温度时，某些 LLM 在某些单一指标上可以与人类匹配（例如，较高温度下某个模型的“到下一点的距离”接近人类水平），但没有任何一组温度参数能够在所有三个维度上同时复现人类完整的搜索特征。换言之，无法通过调整单一温度让 LLM 同时表现出人类水平的熵、步长和离散度。

作者因此认为，人类的语义搜索实现了一种独特的局部利用（local exploitation）与全局探索（global exploration）之间的平衡，而当前的模型架构尚无法复现这种平衡。

关键要点

• 研究使用三种 LLM（GPT-4o、Gemini-2.5-Pro、Claude-Sonnet-4.5）与 82 名人类受试者进行对照，所有数据来自词语流畅性任务。
• 采用三个轨迹 NLP 指标（熵、到下一点的距离、到重心的距离）对语义搜索动态进行量化。
• 人类在所有指标上均高于 LLM，表明人类语义搜索更具可变性和探索性。
• 温度调节仅能实现部分匹配：不同温度下不同指标可与人类对齐，但无法同时满足三个指标的一致性。
• 人类语义搜索的“局部利用-全局探索”平衡是当前 LLM 架构所不具备的。

意义与影响

该研究从认知科学与计算模型的交叉视角揭示了人类与 LLM 在语义记忆检索机制上的本质差异。理论上，它支持了人类语义搜索并非简单的随机游走或固定路径，而是一种动态平衡策略，这对理解人类认知的灵活性具有重要意义。实践上，该工作为改进 LLM 的生成策略提供了方向：单纯调整温度参数不足以模拟人类语义搜索的完整特征，可能需要更本质的架构或训练方法创新（例如引入更丰富的语义拓扑结构或认知启发式的搜索机制）。此外，该研究展示的轨迹分析框架可推广至其他类别生成任务或跨物种比较，为评估 AI 系统的认知真实性提供了可操作的工具。