Co-LMLM：连续查询有限记忆语言模型，知识检索更灵活

背景

传统的大语言模型（LLM）依赖大量参数记忆事实知识，这带来了知识过时、难以更新、缺乏可归因性等问题。近期提出的有限记忆语言模型（Limited Memory Language Models, LMLMs）采用了一种不同的范式：在预训练阶段将事实知识外部化到知识库（KB）中，而不是存储在模型权重中。在生成时，模型根据需要从知识库中检索知识。这种范式带来了多种优势，包括超越常规LLM的知识控制能力。然而，先前的LMLM工作依赖于关系型知识库和结构化查询，这限制了其适用性和灵活性。为此，本文提出连续查询有限记忆语言模型（Co-LMLM），首次将连续向量键与文本知识值配对，摆脱了关系型KB的束缚。

核心内容

Co-LMLM的核心创新在于知识库设计：它不再使用传统的关系型知识库条目（如三元组），而是将连续键（continuous keys）与文本知识值（textual knowledge values）配对。在生成时，模型可以以极低的成本生成灵活的向量查询，同时仍能将人类可读、可归因的检索知识融入生成结果。为了支持这一设计，作者配套开发了一套注释管道（annotation pipeline），能够为任意文本中的自由形式事实跨度（free-form factual spans）打上标签，从而突破了先前工作仅限于Wikipedia的限制。

在预训练数据方面，实验使用了Wikipedia和FineWeb-Edu，并在多个模型规模下进行了验证。结果表明，Co-LMLM在困惑度（perplexity）和事实精度（factual precision）上均优于先前的LMLM以及普通LLM。特别值得关注的是，在360M参数规模下，Co-LMLM的困惑度低于在40倍更多数据上预训练的模型；在SimpleQA基准测试中，其验证性能与gpt-4o-mini相当，且高于Claude Sonnet 4.5。

关键要点

• 外部知识库范式：LMLM将事实知识存储在独立的KB中，而非权重中，从而支持知识控制（如更新、归因）。
• 连续键与文本值：Co-LMLM使用连续向量作为键、人类可读文本作为值，取代了以往的关系型KB和结构化查询。
• 灵活的向量查询：模型以极低成本生成连续查询，无需预定义关系或模式。
• 自由形式事实注释管道：该方法能标注任意文本中的事实跨度，不再局限于Wikipedia，极大扩展了训练数据来源。
• 性能优异：在Wikipedia和FineWeb-Edu上预训练后，Co-LMLM在困惑度和事实精度上均优于基线模型。
• 数据效率显著：360M参数的Co-LMLM困惑度低于在40倍数据上训练的普通模型，展示了外部化知识带来的高效性。
• 与前沿模型可比：在SimpleQA上，360M的Co-LMLM达到gpt-4o-mini水平，超过Claude Sonnet 4.5，尽管参数量远小于后者。

意义与影响

Co-LMLM代表了受限记忆语言模型范式的一次重要演进。通过引入连续键-文本值结构和自由形式注释管道，它打破了之前方法对关系型KB的依赖和对Wikipedia数据源的局限，使得外部知识库可以更自然地整合任意来源的事实信息。这种做法不仅提升了模型的知识控制能力和可归因性，还显著提高了数据利用效率——小模型即可达到甚至超过大规模模型的性能。这对于降低模型训练成本、推动可解释AI以及知识溯源具有重要意义。此外，Co-LMLM在SimpleQA上的表现表明，即使参数量极小，通过合理的外部知识检索机制也能接近甚至超越大型专有模型，为构建更高效、更可信的语言模型指明了新方向。未来，该方法有望扩展到更多语言、更大规模和更复杂的知识推理场景。