大模型用NameRank衡量项目识别，而非个人身份

背景

大型语言模型（LLM）在未经过检索增强的情况下，其内部参数（即权重）中存储了大量关于人物、工具、项目的信息。当用户向模型提问时，模型首先从其参数记忆中调取内容，这些输出直接影响了用户对实体的第一印象。因此，如何衡量模型对特定实体的“识别”能力——即模型是否真正知道关于该实体的一条具体、非猜测性的信息——成为一个亟待解决的测量问题。已有的研究显示，引用关系（如论文引用）只能解释大约三分之一的模型识别能力，剩下的大部分识别行为缺乏系统的量化方法。为此，论文提出了一种新的度量指标 NameRank，用以填补这一空白。

核心内容

论文构建了一个名为 NameRank 的识别分数，取值范围为 [0,1]。该分数的计算基于以下流程：

• 选取 54 个队列（cohorts），涵盖 4,685 个实体（包括人物、工具、项目、奖项等）。
• 对每个实体，向 36 个不同的前沿模型（如 GPT、Llama 等）提出一个开放式问题（open-ended question），要求模型描述该实体。
• 由独立评判者（independent judge）对模型的回答进行二元判定：模型是否说出了关于该实体的一条具体、非猜测性的真实事实（specific, non-guessable fact）。评判依据是预先精心构建的“黄金标准”（curated gold）。幻觉、上下文回显、猜测等均不得分。
• 为了控制噪声，论文引入了“合成空实体”（synthetic-null entities），这些实体在现实中不存在，模型对它们的回答得分应接近零，以此作为基准。
• 实验发现，裁决结果主要跟随实体本身，而非模型（即不同模型对同一实体的识别模式相似）。

论文的核心论点可概括为：识别（recognition）是支付给有命名的、可索引的工件（named, indexable artifacts），而不是给凭证或头衔（credentials or titles）。 具体发现包括：

1. 凭证类实体（如奥运奖牌得主）的识别分数极低：所有奥运级别的凭证（如“金牌得主”）都位于“工作研究者基线”（working-researcher baseline）之下。原因是这些凭证本身没有附带一个命名的工件（例如，“奥运金牌”不是一个具体的、可索引的工件）。

2. 顶级奖项层级出现反转：在诺贝尔奖、图灵奖、菲尔兹奖得主这个层级，识别分数饱和了专家组（saturate the panel），即几乎所有模型都能识别这些顶尖人物。这是因为这些奖项本身就是高度命名的、可索引的工件。

3. 独立创作者：工具排名高于其制作者：对于独立创作者（如开源工具的作者），模型识别工具（如名称）的分数高于识别其制作者。传播的凭证是命名的工具或方法，或是获奖的论文。

4. 集体贡献者几乎不被识别：成为某个著名工件的众多命名贡献者之一（例如，在旗舰模型报告或系统卡上列出的作者）几乎得不到任何识别分数，接近识别底层。因为识别附着于工件本身的独特名称，而非背后的名单。

5. 文献计量学无法预测识别：论文检查了多种文献计量指标（如引用数、h指数），发现没有一种能很好地预测 NameRank 分数。相比之下，来自高密度机构（top-density institutions）的实体比同等引用量的同行获得更高的识别分数。

6. 新闻事件中的识别模式：对 258 个新闻事件的分析显示，识别加载在事件的峰值显著性（peak salience）上，而非持久性（persistence）。即模型更可能在事件刚爆发时识别它，而非长期保持。

7. 自我报告探针揭示内省的本质：论文通过让模型进行自我报告（self-report probe）发现，模型的内省（introspection）实际上读取的是其训练语料库的先验（corpus prior），而不是真正的“自知之明”（own knowledge）。也就是说，模型“知道”的只是它见过的文本统计模式。

关键要点

• NameRank 是一个 [0,1] 的识别分数，基于开放式提问和独立评判，涵盖 4,685 个实体、54 个队列和 36 个模型。
• 模型识别能力取决于实体是否有独特的、可索引的名称，而非实体的身份或头衔。
• 凭证类（如奥运奖牌）几乎得不到识别，因为缺乏命名的工件；但顶级奖项（诺贝尔、图灵、菲尔兹）因具有高度命名的工件而获得高识别。
• 工具（如某个开源项目）的识别分数高于其独立创作者；成为著名工件的众多作者之一几乎不被识别。
• 文献计量学（引用量等）不能预测识别；高密度机构（如顶尖大学、实验室）的实体获得更高识别。
• 新闻事件中，识别与峰值显著性相关，而非持续曝光。
• 模型的内省能力反映的是其训练语料中的统计分布，而非真正的自我认知。

意义与影响

该研究为理解 LLM 的“知识”边界提供了全新的量化视角。传统上，人们通过问答基准（如 MMLU、TruthfulQA）或引用网络来评估模型的知识，但这些方法忽略了模型是否真正“认识”某个特定实体。NameRank 直接测量模型对实体的识别能力，揭示了模型知识结构的几个重要特性：

• 对命名工件的偏好：模型倾向于记住具有独特名称的物体（如“GPT-4”、“ResNet”），而对抽象头衔或集体贡献者不敏感。这提示我们，在训练数据中，模型的注意力机制可能更关注那些在文本中反复以独立名称出现的实体。
• 对机构密度的敏感性：来自高密度机构的实体（如斯坦福大学、Google Brain）更容易被识别，这可能反映了训练数据中这些机构出现的频率和上下文丰富度。
• 对新闻时效性的依赖：模型对新闻事件的识别依赖于峰值显著性，而非长期记忆，这暗示模型的知识更新主要依赖训练数据中的时间分布，而非持续的推理能力。
• 对“自我知识”的质疑：模型的内省并不能反映其真实知识，而是对其训练语料先验的统计读数。这提醒我们，在依赖模型进行自我评估时应保持谨慎。

该研究对 AI 安全、知识管理、学术评价等都有