设备端4B模型：曝光量决定引文忠实，检索决定覆盖率

背景

随着大语言模型能力的提升，设备端（on-device）研究代理成为一个有吸引力的方向：在个人笔记本电脑上运行的小模型，能够自主搜索语料库、阅读来源并撰写带有引用的简报。然而，对于可部署的小模型（如参数量仅为4B的模型），其引用的忠实性（faithfulness）和成本尚未被系统度量。现有研究通常将引用质量报告为一个单一指标，但本文作者认为这掩盖了两个不同的问题：被引来源是否真正支持声称（faithfulness），以及代理是否引用了正确的来源（coverage）。本文在固定硬件（24 GB 内存笔记本）和固定生成器（4B 模型）的条件下，探究影响引用忠实性的核心因素，并分离出两个独立的杠杆。

核心内容

本文的研究设定是：一个4B参数的生成器，运行在24 GB内存的笔记本电脑上，作为设备端研究代理。实验操纵两个自变量：每个来源的暴露量（exposure，即生成器看到的每个来源的字符数，分为400字符和1500字符两档）以及所提供来源的质量（gold papers——正确的权威来源，与retrieved papers——通过检索获得的来源，检索的召回率固定约0.40）。因变量是两个独立量度：

• Cited claim faithfulness（被引声称的忠实性）：被引的来源是否确实支持代理所声称的内容。
• Trustworthy coverage（可信覆盖率）：代理是否同时引用了正确的来源（即，在它引用的来源中，有多大比例是真正相关且正确的）。

结果发现两个杠杆各自作用于不同的结果：

1. 暴露量决定了忠实性（Exposure bounds faithfulness）

   • 当每个来源的暴露量从400字符增加到1500字符时，忠实性在检索来源上从0.45提升至0.58，在金标准来源上从0.37提升至0.58。两种来源设置下的忠实性最终收敛到相近值（约0.58）。
   • 这表明忠实性主要受限于暴露量，而非来源本身是否正确（即便是gold sources，低暴露下忠实性反而更低，但提升暴露后二者收敛）。
   • 暴露提升的效果对第二个独立的评判者（second judge）也是稳健的；在主要评判者下收敛精确，在第二个评判者下仅为近似收敛。

2. 检索决定了覆盖率（Retrieval bounds coverage）

   • 无论暴露量如何（400或1500字符），在检索来源条件下，可信覆盖率始终保持在约0.22。由于检索召回率被固定在0.40左右，暴露不能改变代理引用哪些来源——覆盖率受限于检索质量。
   • 额外暴露的成本大约为235个输出token。

实际建议：先低成本提高每个来源的暴露量（提升忠实性），然后唯一剩余的杠杆是提升检索召回率（提升覆盖率）。

关键要点

• 本文首次区分了“被引声称忠实性”和“可信覆盖率”两个指标，并证明它们由不同的因素控制。
• 暴露量（每个来源看到的字符数）是忠实性的主要边界：增加暴露可以从0.37–0.45提升至0.58，且不受来源本身是否正确影响（gold vs. retrieved 最终收敛）。
• 检索召回率是覆盖率的边界：即使增加暴露，由于检索召回率固定0.40，覆盖率始终约0.22。
• 提升暴露的额外token成本约为235个输出token，相对廉价。
• 实用策略：优先提升每个来源的暴露量（成本低），然后专注于改进检索召回率作为唯一有效杠杆。

意义与影响

这项研究为设备端小型研究代理的可靠性提供了第一个系统性的分离分析。它揭示了简单增加暴露（比如让模型看到更多上下文）可以显著改善引用的忠实性，且这一效果不依赖于来源是否为“黄金标准”。同时，它明确指出检索召回率是覆盖率的瓶颈——即使模型忠实于所看内容，若检索不到正确来源，覆盖率始终受限。这为实际部署给出了清晰的方向：在资源受限的设备上，先利用低成本手段（增加每个来源的上下文长度）提升忠实性，再投入更大精力提升检索系统本身（如更好的索引或更高召回率的检索算法）。此外，文中使用双评判者验证了结果的稳健性，增加了结论的可信度。未来工作可进一步探索不同模型规模、不同语料库及动态检索对两维指标的影响。