← 返回信息流
技术博客arXiv cs.CL·2 小时前

CoEvoT:图-LLM推理的共进化思维链提示框架

原标题:CoEvoT: Co-Evolving Chain-of-Thought Prompting for Graph-LLM Reasoning

速览

CoEvoT是一个用于图-大模型推理的共进化思维链提示框架,它通过轻量条件网络将中间文本推理结果更新图令牌状态,实现结构线索的逐步精炼,而非基于固定图快照推理。该方法在8个数据集上显著优于现有基线,为分布偏移下的图学习提供了新范式。

AI 深度解读

背景

图学习在分布偏移(distribution shift)场景下面临持续挑战:模型需要仅凭少量甚至无监督信号,适应全新的图结构数据。近年来,图–大语言模型(Graph-LLM)方法通过将图线性化为提示(prompt),并利用大语言模型(LLM)作为预测器,实现了标签高效的预测。在此基础上,Chain-of-Thought(CoT)提示技术被引入以发挥 LLM 的多步推理能力。然而,现有基于 CoT 的图–LLM 方法在生成中间推理步骤时,始终以固定的图标记(graph token)为条件,无法在推理过程中逐步优化结构线索,这限制了模型对图结构信息的精细化利用。

核心内容

为解决上述问题,论文提出 CoEvoT——一种简单而有效的共演化 CoT 提示框架,专用于图–LLM 推理。CoEvoT 在闭环中耦合了文本到图标记的重写(text-to-graph token rewriting)与图到文本的推理引导(graph-to-text reasoning guidance)。其工作流程如下:

  1. 初始状态:LLM 接收一个线性化的图提示和初始指令,开始 CoT 推理,生成第一个中间文本推理步(thought)。
  2. 文本→图标记更新:每个中间文本推理步通过一个轻量级条件网络(lightweight condition network)被用于更新图标记的证据状态(graph token evidence state)。具体而言,该网络将文本表示映射为对图标记的调整,使图标记携带当前推理步所关注的结构线索。
  3. 图标记→文本引导:更新后的图标记被反馈到下一步的指令中,作为新的上下文指导后续 LLM 推理——即后续推理步可以基于当前已提炼的结构证据继续深入。

这种机制实现了逐步、状态感知的证据精炼(step-wise, state-aware evidence refinement),而非在固定图快照(fixed graph snapshot)上进行推理。因此,LLM 在每一步都能获得动态演化的图结构信息,从而更精准地把握图与文本之间的关联。

论文在 8 个数据集上进行了大量实验,结果表明 CoEvoT 在所有数据集上持续优于当前最先进的基线方法。

关键要点

  • 问题:现有 CoT 图–LLM 方法无法在推理过程中动态更新图结构表示,导致结构线索利用率不足。
  • 核心创新:CoEvoT 引入“文本–图共演化”机制,让中间推理文本与图标记状态相互更新,形成闭环。
  • 技术实现
    • 使用轻量条件网络将文本推理步映射为图标记的增量更新。
    • 更新后的图标记作为下一步指令的组成部分,引导 LLM 生成后续推理。
  • 优势:无需额外标注或重新训练 LLM,仅通过提示设计即可实现图信息的逐步精炼。
  • 实验验证:在 8 个数据集上全面超越 SOTA 基线,证明该框架的有效性和泛化性。

意义与影响

CoEvoT 为图–LLM 推理提供了一种全新的范式:不再是“一次编码,静态推理”,而是让图表示随着思维链的推进而同步演化。这一思路打破了传统图提示方法中图信息在推理过程中不变的局限,使得 LLM 能够更灵活地利用结构信号进行多步推理。对于分布偏移下的少样本或零样本图学习任务(如社交网络分析、分子性质预测、知识图谱推理等),CoEvoT 有望显著提升模型的适应性和鲁棒性。此外,该框架的简洁性(仅需一个轻量条件网络)使其易于集成到已有的 Graph-LLM 系统中,为未来在更复杂图任务上的应用奠定了基础。

查看原文 →arxiv.org