博弈论多智能体框架缓解语言模型幻觉

背景

轻量级大语言模型在基于规则的科学领域（如化学、生物学等）中应用时，面临一个根本性瓶颈：它们倾向于模仿训练数据中的语言模式，而非真正复现公理化的推理过程。这种“表面模仿”导致频繁出现幻觉——即模型生成看似合理但实际违背领域约束的内容。这严重限制了轻量级模型在需要严密逻辑和领域知识的科学任务中的可用性。传统方法通常依赖更大规模的模型或外部知识库来纠正幻觉，但计算成本高且难以扩展。因此，如何在不显著增加模型规模的前提下，通过训练过程和推理框架本身抑制幻觉，成为该领域的关键挑战。

核心内容

本文提出了一种名为 G-Frame 的自适应多智能体框架，通过整合博弈论中的贝叶斯原理与团队博弈原理，构建了一个自动化的数据合成与模型训练闭环。该框架的核心思想是：通过结构化推理过程，强制模型在生成答案时内化领域约束，从而减少幻觉。

具体而言，G-Frame 利用多智能体之间的博弈机制，在合成数据阶段自动生成高质量的领域专用数据集。研究团队通过该方法合成了 363,045 条思维链（Chain-of-Thought） 和 199,589 个问答对，用于训练最终的模型。基于该数据集训练得到的 OmniChem 模型（参数量为 7B），在自定义基准测试和 ChemBench（化学领域标准基准）上达到了与 GPT 4o mini 相当的性能。更关键的是，相比于其基础架构（即未经过 G-Frame 训练的原始模型），OmniChem 的幻觉发生率降低了 79.46%。

此外，论文还展示了 OmniChem 在分子设计与合成规划（molecular design and synthesis planning）等高级任务中的能力，证明该框架不仅抑制了幻觉，还保留了轻量级模型在复杂科学推理中的实用性。

这项工作建立了一个可扩展的范式：利用自适应多智能体系统克服轻量级模型固有的推理缺陷，为加速科学发现提供了一条可行路径。

关键要点

• 问题：轻量级 LLM 在规则型科学领域中因模仿语言模式而非公理推理，产生频繁幻觉。
• 解决方案：G-Frame 框架，结合贝叶斯原理与团队博弈原理，构建多智能体闭环系统。
• 数据合成：通过结构化推理强制内化领域约束，生成 363,045 条思维链和 199,589 个问答对。
• 模型性能：7B 参数 OmniChem 模型在 ChemBench 和自定义基准上达到 GPT 4o mini 水平。
• 幻觉抑制：相比基础架构，幻觉减少 79.46%。
• 高级能力：在分子设计与合成规划任务中展现实际应用价值。
• 可扩展性：为其他科学领域（如生物、材料等）的轻量级模型训练提供了通用范式。

意义与影响

该研究首次将博弈论中的团队博弈机制引入多智能体数据合成与模型训练，为轻量级 LLM 在科学领域的应用开辟了新路径。其核心价值在于：不依赖更大模型或外部知识库，仅通过训练数据的结构化生成与推理过程的内化约束，就能显著降低幻觉。这不仅降低了计算成本，也使得在资源受限的环境下（如学术实验室、中小企业）部署高性能科学辅助模型成为可能。

此外，G-Frame 框架的通用性意味着它可被扩展至其他基于规则的领域（如物理学、药学、工程学），有望加速知识发现过程。OmniChem 在分子设计上的表现，暗示了该范式在药物研发、材料筛选等实际场景中的潜力。未来，随着多智能体博弈策略的进一步优化，轻量级模型有望在更多垂直领域取代通用大模型，实现“小而专”的精准推理。