Ad Headline Generation using Self-Critical Masked Language Model

背景

在电商网站中，构建能够持续吸引购物者的广告是一项不容忽视的难题。广告必须通过平台的创意质量审核，而大规模地生成高质量广告文案尤其困难。传统上，广告标题的撰写依赖人工，但人工提交的标题在语法和创意质量上往往参差不齐，且难以规模化。近年来，基于 Transformer 的预训练语言模型（如 Masked Language Model）在文本生成任务上展现出强大能力，但单纯用监督学习生成广告标题容易陷入模式化，缺乏对广告效果的直接优化。同时，强化学习（Reinforcement Learning, RL）方法已被用于序列生成任务，通过奖励信号引导模型产出更符合目标的文本。然而，如何将 Transformer 模型与 RL 有效结合，并针对电商场景中多个商品联合生成标题，仍是一个开放问题。本文提出了一种基于自批判掩码语言模型（Self-Critical Masked Language Model）的强化学习策略梯度方法，旨在程序化地生成高质量产品广告标题。

核心内容

本文针对电商广告标题生成任务，提出了一种程序化解决方案。该方法利用零售内容（即商品信息）作为输入，通过强化学习策略梯度训练基于 Transformer 的掩码语言模型，最终生成广告标题。核心创新点在于：模型并非为单个商品独立生成标题，而是联合条件于卖家希望推广的多个商品，从而在一条标题中同时突出多个产品的卖点，提高广告的覆盖面和吸引力。

具体而言，作者采用了自批判策略梯度（Self-Critical Policy Gradient）训练范式。在这种范式中，模型同时生成两个输出：一个是通过贪婪解码得到的基线（baseline）标题，另一个是通过随机采样得到的探索（exploration）标题。两者的奖励差异被用作优势函数，用于更新模型参数。奖励函数综合了标题的语法正确性、创意质量以及与多个商品的关联度等指标。模型的基础架构是 Transformer 风格的掩码语言模型（如 BERT-style 的 MLM），但与传统 Masked Language Model 不同，本文在训练阶段引入 RL 损失，使模型在生成时能直接优化最终的目标指标，而非仅仅拟合交叉熵损失。

实验部分，作者将本文方法与现有 Transformer 基线（如直接使用预训练 MLM 生成）以及 LSTM + RL 方法进行了对比。评估指标包括重叠度指标（如 BLEU、ROUGE 等）以及人工质量审计（语法质量和创意质量）。结果表明，本文方法在重叠度指标上全面优于对比方法，在人工审计中，模型生成的标题在语法和创意质量上均超过人工提交的标题。这一结果证明了程序化生成广告标题的可行性和优越性。

关键要点

• 问题定位：电商广告标题生成面临创意质量把关难、规模化成本高、人工标题质量不稳定等挑战。
• 方法核心：提出基于 Transformer 的掩码语言模型与强化学习自批判策略梯度相结合的方法，用于广告标题生成。
• 多商品联合条件：模型在生成标题时，同时考虑卖家希望广告的多个商品，而非单一商品，增强标题的覆盖力。
• 训练范式：采用自批判策略梯度，通过贪婪解码基线+随机采样探索计算优势，直接优化标题质量指标。
• 模型架构：基础模型为 Transformer 风格的 Masked Language Model，通过 RL 损失微调，使其输出更符合广告目标。
• 性能表现：在重叠度指标（BLEU、ROUGE 等）上优于现有 Transformer 和 LSTM+RL 方法；人工审计显示，模型生成的标题在语法和创意质量上均优于人工标题。
• 实验验证：通过定量指标和人工质量审计双重验证，确保结果可靠。

意义与影响

本文的研究为电商广告自动化生成提供了新的技术路径。传统上，广告标题依赖人工创意，难以规模化且质量波动大。本文提出的方法将强化学习与预训练语言模型结合，使模型能够直接优化广告标题的语法和创意质量，并在多商品场景下保持一致性。从实际应用角度看，该方法可大幅降低电商平台的广告制作成本，提升广告通过率和转化效果。从学术角度看，Self-Critical Masked Language Model 的提出为序列生成任务中融合 RL 与 Transformer 提供了有效范式，有望推广到其他需要联合条件生成的文本任务（如多商品描述、捆绑推荐文案等）。此外，实验结果中模型标题优于人工标题的表现，挑战了“创意难以被算法替代”的传统认知，为 AI 在创意文案领域的应用提供了有力证据。未来，该工作可进一步探索更复杂的奖励函数设计（如点击率预估）、多模态输入（如图片+文本）以及在线学习机制，以持续优化广告效果。