← 返回信息流
技术博客arXiv cs.CL·4 小时前

引入掩码机制的流语言模型提升多步推理能力

原标题：Masked Language Flow Models

速览

研究人员提出掩码语言流模型（MLFMs），通过在流语言模型中引入连续随机插值来桥接部分掩码序列与干净序列。该设计允许预训练的掩码扩散模型通过轻量级适配转换为MLFMs，并采用交替连续去噪与离散解掩码的新采样器以支持多步推理。实验表明，基于流的语言模型首次被证明可规模化用于下游推理和指令跟随任务。

AI 深度解读

Masked Language Flow Models：融合掩码与流模型的新一代推理架构

背景

在大语言模型（LLM）的生成范式演进中，Masked Diffusion Models (MDMs) 和 Flow Language Models (FLMs) 代表了两种截然不同的技术路径，各自拥有显著优势，但也存在明显的局限性。

MDMs 的核心吸引力在于其能够实现快速且并行的语言生成。然而，其逆向转换过程在 token 位置上是因子化的（factorises across token positions）。这种近似处理在需要多步采样的场景下会失效，恰恰是在这些少步长（few-step）采样 regime 中，并行生成本应带来最大的效率增益，但 MDMs 却因这一近似而难以发挥优势。

另一方面，Flow Language Models (FLMs) 通过学习一个连续流（continuous flow），将噪声传输到欧几里得空间中表示的干净序列，从而诱导出一个可以蒸馏用于单步生成的流映射（flow map）。这种机制成功绕过了 MDMs 的局限性，实现了高效的单步生成。但是，FLMs 也带来了新的问题：由于在生成过程中被迫解码每一个 token，这使得 FLMs 在处理需要多步推理的复杂任务时变得极具挑战性，因为缺乏中间状态的掩码机制来支持逐步推理。

为了弥合这两者之间的鸿沟，研究人员提出了 Masked Language Flow Models (MLFMs)，旨在结合两者的优点，既保留流模型的高效性，又引入掩码机制以支持多步推理。

核心内容

本文介绍了 Masked Language Flow Models (MLFMs)，这是一种将掩码机制融入流语言模型的新型架构。其核心设计思路如下：

  1. 连续随机插值（Continuous Stochastic Interpolant）： MLFMs 使用连续随机插值来桥接部分掩码序列（partially masked sequences）和干净序列（clean sequences）。这一设计使得模型能够通过连续流进行条件生成（conditional generation）。

  2. 预训练 MDMs 的轻量化适配： 该架构允许将预训练的 MDMs 转换为 MLFMs。这种转换通过一种简单、轻量级的适配过程完成，极大地降低了迁移成本，利用了现有 MDM 预训练模型的知识。

  3. 新型采样器（Novel Sampler）： 利用 MLFMs 的灵活性，研究者提出了一种新颖的采样策略。该策略交替执行以下两个步骤：

    • 连续去噪（Continuous Denoising）：利用流模型进行连续的噪声去除。
    • 确定 token 的离散解掩（Discrete Unmasking of Confident Tokens）：对置信度高的 token 进行离散的解掩码操作。

    这种交替机制更好地支持了多步推理过程，解决了纯流模型在复杂推理任务中的不足。

  4. 实验评估： 研究者在 GSM8K（数学推理基准）和 MT-Bench（指令遵循基准）上对 MLFMs 进行了评估。结果表明，这是首次证明基于流的语言模型可以被扩展以解决下游推理和指令遵循任务。

关键要点

  • 解决 MDMs 的近似缺陷：MDMs 的逆向转换在 token 位置上的因子化近似在少步长采样下失效，限制了其并行生成的效率优势。
  • 解决 FLMs 的推理瓶颈：FLMs 虽然支持单步生成，但因强制解码所有 token，难以处理需要多步推理的复杂任务。
  • MLFMs 的核心创新：通过连续随机插值将掩码机制引入流模型，实现了部分掩码序列与干净序列之间的平滑过渡。
  • 兼容性与低成本迁移：预训练的 MDMs 可以通过轻量级适配直接转换为 MLFMs，无需从头训练。
  • 交替采样策略：提出的采样器结合了连续去噪和离散解掩（针对高置信度 token），有效支持了多步推理。
  • 首次验证流模型的推理能力：在 GSM8K 和 MT-Bench 上的成功表明，基于流的语言模型具备解决复杂推理和指令遵循任务的潜力，突破了以往认为流模型仅适合简单生成的认知。

意义与影响

MLFMs 的提出标志着语言生成模型在架构融合上的重要一步。它打破了 MDMs 和 FLMs 之间的技术壁垒，证明了通过引入掩码机制，流模型可以克服其在多步推理上的固有缺陷。

这一进展具有深远的意义：

  1. 效率与能力的平衡：MLFMs 试图在保持流模型潜在的单步生成效率的同时，赋予其处理复杂逻辑推理的能力，这在追求低延迟和高准确性的应用场景中极具价值。
  2. 扩展流模型的应用边界：此前，基于流的模型主要受限于生成质量或推理能力。本文首次展示了流模型可以在 GSM8K 和 MT-Bench 等高标准基准上取得竞争力，证明了其在通用人工智能任务中的可扩展性。
  3. 技术路线的多样化：为研究人员提供了新的模型设计思路，即通过连续插值和离散操作的混合策略来优化生成过程，这可能启发后续更多关于混合生成范式的研究。

总之，Masked Language Flow Models 不仅是一个新的模型架构，更是对语言生成中“并行效率”与“序列依赖”之间矛盾的一次有效调和，为下一代高效推理模型的发展奠定了基础。

相关推荐

查看原文 →arxiv.org