CPP方法破解大模型构成与知识二元困境

背景

大型语言模型（LLMs）在推理任务中面临一个根本性挑战：如何在组合性（compositionality） 与知识性（knowledgeability） 之间取得平衡。前者要求模型能够通过逻辑步骤进行演绎推理（如数学问题），后者则依赖模型准确回忆和运用事实知识（如医学诊断）。现有方法往往偏重一方：基于组合的提示策略（如Chain-of-Thought）强调步骤推导，却可能忽略知识准确性；而基于知识检索的方法（如RAG）注重事实性，却可能削弱逻辑连贯性。这种矛盾被定义为 "组合-知识二分法"（Composition-Knowledge Dichotomy）。为解决该问题，本文提出 具体化命题提示（Concretized Proposition Prompting, CPP），一种旨在弥合这一鸿沟的新型提示框架。

核心内容

本文提出的 Concretized Proposition Prompting（CPP） 是一种显式地将问题所涉及的具体命题进行具象化的提示范式。其核心思想是：在模型生成推理路径之前，先迫使模型将问题中的抽象关系转化为一组具体、原子化的事实命题（concretized propositions），这些命题既包含知识性事实，也包含逻辑约束。通过这种预提示，模型能够在后续推理中同时利用知识基础和组合规则。

实验在多个基准上进行验证：

• 医疗基准（如医学QA任务）：CPP 显著提升了推理性能。这类任务对精确知识（如药物相互作用、病理机制）要求极高，CPP 通过显式化命题帮助模型更可靠地依赖事实信息，从而缓解了幻觉问题。
• 数学基准（如算术推理）：CPP 同样具有竞争力。数学任务更强调演绎推理（deductive reasoning），CPP 并未因“具体化”而削弱逻辑步骤，反而为每一推导步骤提供了事实锚点，保证了推理的严谨性。

此外，额外实验表明 CPP 具有可扩展性：它适用于多种基础模型（如Llama、GPT系列）和不同参数规模（从几B到几十B），不依赖于特定模型架构。这意味着CPP是一种基础性范式（fundamental paradigm），而非针对某一模型的技巧。

最终，CPP 通过为逻辑组织和事实依据推理提供坚实基础，解决了组合-知识二分法，使LLMs既能进行结构化的组合推理，又能保证输出结果的事实准确性。

关键要点

• 定义矛盾：LLMs无法同时兼顾组合推理（逻辑步骤）和知识回忆（事实准确），此即组合-知识二分法。
• 方法创新：CPP 在提示中显式地将问题相关命题具体化为原子化事实，为后续推理提供知识锚点与逻辑约束。
• 实验结果：
  • 在医疗基准上表现突出，证明知识密集型任务收益显著；
  • 在数学基准上保持竞争力，证明演绎推理能力未受影响。
• 可扩展性：CPP 兼容多种基础模型（如Llama、GPT系列）与不同参数规模，不依赖模型结构。
• 本质贡献：CPP 被定位为一种基础范式，而非单一技巧，旨在弥合基于组合与基于知识两种推理路线之间的鸿沟。

意义与影响

CPP 的提出为LLM推理研究提供了一个新的理论框架和实践工具。它直接回应了当前LLM在复杂推理中“知道但不会组合”或“会组合但记错知识”的两难困境。通过将知识事实以命题形式显式嵌入逻辑链条，CPP 使模型能够更稳健地处理需要事实与逻辑双重约束的任务（如法律分析、科学研究、问答系统）。其可扩展性意味着该范式可以低成本集成到现有提示工程流程中，无需修改模型参数或架构。长远来看，CPP 有望推动LLM向更可靠、更可解释的方向发展——不仅告诉用户“推理步骤”，还能清晰地展示每一步所依赖的具体事实命题，从而增强对模型输出的信任。这一工作也为后续研究（如结合检索增强的命题生成、多模态命题具体化）提供了重要的起点。