← 返回信息流
技术博客arXiv cs.CL·2 小时前

强化学习提升LLM流程模型质量，奖励函数设计成关键

原标题：Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

速览

这篇论文系统研究了在基于强化学习（RL）的流程模型生成中，奖励函数的设计方式。作者在Llama 3.1 8B和Qwen 2.5 14B两种LLM上测试了48种配置，利用38个指标评估句法、语用和语义质量。结果表明：RL显著提升语用和句法质量，输出变异性降低六倍以上；等权重奖励优于针对性权重；设计选择与模型架构存在非平凡交互。这些发现可推广至任何多维度自动评估的结构化生成任务。

AI 深度解读

背景

流程建模是组织管理和自动化领域的关键任务，传统上需要领域专家手动将业务活动、事件和决策点绘制成标准化的图表（如BPMN——Business Process Model and Notation）。近年来，大语言模型（LLM）展现出从自然语言描述直接生成BPMN过程模型的能力，这大大降低了流程建模的门槛。然而，当前主流的监督微调（SFT）方法存在一个根本性局限：模型的输出质量被限制在训练数据中已有的模式范围内，无法超越人类标注数据所呈现的“天花板”。为了突破这一瓶颈，研究者开始探索将强化学习（RL）引入LLM的流程模型生成——利用外部质量评估指标作为奖励信号，引导模型学习更优的生成策略。但奖励函数的设计在质量维度多样化的场景下应如何构建，此前尚未得到系统研究。本文正是针对这一空白，对基于RL的流程模型生成中奖励函数的设计进行了全面实验与深入分析。

核心内容

本研究使用Group Sequence Policy Optimization（一种面向序列生成任务的强化学习算法）对两个不同规模的LLM系列——Llama 3.1 8B和Qwen 2.5 14B——进行了训练，共尝试了48种不同的配置。奖励信号来源于一个自动化评估框架，该框架整合了38个独立指标，分别覆盖三个质量维度：语法质量（模型是否遵循BPMN的语法规范）、语用质量（模型是否满足业务场景的实际需求）和语义质量（模型是否准确反映自然语言描述中的语义）。研究的核心问题在于：如何组合这些多维度的奖励信号，才能最大化RL的优化效果？

通过系统性实验，论文得出了三个关键发现：

  1. RL的整体效果显著：相比SFT基线，RL在语用和语法质量上取得了明显提升，同时保持了语义保真度（即模型不会因为追求形式正确而偏离原始描述的含义）。此外，RL将输出结果的变异性降低了六倍以上，意味着模型生成的结果更加稳定、可靠。

  2. 奖励权重的设置至关重要：当所有维度的奖励被赋予相等权重时，模型在各项指标上一致表现最优。相反，如果人为地强调某个特定维度（例如只优化语法质量），不仅无助于该维度的提升，反而会导致模型整体坍缩到低质量模式——即牺牲其他维度来换取单一维度的“虚假高分”。这一结果说明，多目标优化中“均衡”比“聚焦”更有效。

  3. 奖励设计选择与模型架构之间存在非平凡交互：实验发现，某些设计决策对不同的模型影响截然不同。例如，“无效惩罚”（即奖励函数中针对模型输出语法无效的情况给予负分）对一个模型（Llama 3.1 8B）是必不可少的，缺少它会导致优化崩溃；但对另一个模型（Qwen 2.5 14B）则几乎毫无影响。类似的，SFT初始化参数对Llama 3.1 8B是不可或缺的——没有SFT预训练，RL无法收敛；而对Qwen 2.5 14B，SFT初始化反而起到反效果，直接从原始预训练模型开始RL效果更好。

这些发现表明，奖励函数的组成方式（即哪些维度被纳入、如何加权）是决定RL优化结果的首要因素，其影响程度甚至与是否应用RL本身这一决策相当。论文将实验代码和实现全部开源。

关键要点

  • RL能显著提升LLM生成流程模型的质量，尤其在语用和语法维度，同时保持语义保真度，且输出变异性降低超过六倍。
  • 等权重奖励组合普遍优于目标加权：试图强调某个特定质量维度会造成模型整体性能下降，甚至导致模型陷入低质量模式。
  • 奖励设计（特别是无效惩罚和SFT初始化）与模型架构存在强耦合：同一设计决策对一个模型至关重要，对另一个模型可能无关紧要或适得其反。
  • 基于38个自动化指标的多维度评估框架为本研究提供了可靠、可重复的奖励信号。
  • 使用Group Sequence Policy Optimization（GSPO）作为RL算法，在48种配置下进行了大规模实验。
  • 奖励组合的影响级别与是否启用RL本身相当，说明奖励函数设计是RL微调成功的核心杠杆。
  • 研究结论可推广到任何结构化生成任务，只要该任务的质量可以通过多个自动化维度进行评估（如代码生成、图表生成、表格生成等）。

意义与影响

这项研究为如何将强化学习应用于LLM的结构化生成任务提供了重要指导。首先，它揭示了奖励函数设计并非简单的“一个指标就够了”，而是需要系统性地考虑多维度之间的平衡。过度强调某一方面可能适得其反，这提醒研究者和工程人员在设计奖励函数时不能凭直觉“聚焦”某个子目标，而应尝试等权重或更全面的组合。

其次，结果强调了模型架构与RL超参数之间的高度依赖关系。同一组奖励设计在Llama和Qwen上表现不同，意味着“一刀切”的RL策略不可取。未来的工作应当针对不同模型进行个性化的奖励函数调整，甚至可能需要在模型选择阶段就考虑RL兼容性。

第三，该研究将RL的应用范围从传统的文本生成（如对话、摘要）扩展到了结构化、符号化的输出领域（BPMN）。这种范式可以推广到任何需要生成具有严格语法和语义约束的结构化输出（如代码、SQL、JSON、UML图等）的任务。对于这些任务，自动评估指标往往已经成熟，因此RL+自动奖励的闭环可以极大地减少对人工标注的依赖。

最后，论文的开放性和可复现性（代码与实验代码公开）为后续研究提供了坚实的基础。它鼓励社区在更多模型、更多结构化生成任务上验证和扩展这些发现，从而推动LLM从“能生成”向“生成得更好”迈进。

相关推荐

查看原文 →arxiv.org