← 返回信息流
技术博客arXiv cs.CL·2 小时前

COBART:受控优化广告标题生成新方法

原标题:COBART: Controlled, Optimized, Bidirectional and Auto-Regressive Transformer for Ad Headline Generation

速览

一篇arXiv论文提出COBART方法,用于在线广告标题生成。该方法在BART模型基础上引入前缀控制令牌,允许用户控制生成标题长度以适应不同广告格式。实验表明,相比已有强基线,Rouge-L提升25.82%,预估点击率提升5.82%。该方法灵活,可适配其他架构和优化目标。

AI 深度解读

背景

在线广告是当今商业的核心组成部分,而广告标题作为广告创意中最关键的元素之一,直接影响用户的点击意愿和广告效果。已有的方法能够自动生成广告标题,并在此基础上优化点击率(CTR)和标题质量。然而,随着广告格式的不断演化以及创意需求的日益多样化,传统的标题生成方法难以同时满足“优化”与“定制化”的双重目标。例如,不同广告平台(如展示广告、搜索广告、社交媒体广告)对标题长度、风格和关键词均有不同要求,现有模型在灵活适配这些变化时表现不佳。针对这一挑战,研究者提出了一种基于可控前缀标记与 BART 微调的新方法,旨在实现既优化 CTR 又支持用户控制标题属性的广告标题生成。

核心内容

本文提出名为 COBART 的模型,全称为 Controlled, Optimized, Bidirectional and Auto-Regressive Transformer。该方法的核心思路是在预训练的 BART(Bidirectional and Auto-Regressive Transformer)模型基础上引入前缀控制标记(prefix control tokens),通过微调使其能够生成同时满足优化目标和自定义约束的广告标题。

具体而言,COBART 在输入序列的开头添加一组特殊的前缀标记,这些标记编码了用户指定的控制条件,例如期望的标题长度范围、广告格式类型等。这样,模型在生成过程中能够自适应地调整输出,使其既符合优化目标(如最大化预估 CTR),又满足具体的格式要求。实验表明,这种方法在不需要额外训练多个专用模型的情况下,即可实现灵活可控的生成。

COBART 的优化目标不仅包括传统的文本质量指标(如 Rouge-L),还直接以预估点击率(estimated CTR)作为优化信号。通过联合学习,模型能够在保证标题可读性和相关性的前提下,显著提升广告的点击潜力。

在实验部分,作者以已有文献中公布的强基线方法为对照,在相同的数据集上评估了 COBART 的性能。结果显示:

  • Rouge-L 得分提升 25.82%,表明生成标题与参考标题在词汇重叠和序列顺序上的相似度大幅提高。
  • 估计 CTR 提升 5.82%,验证了该方法在实际广告投放场景中的商业价值。

此外,COBART 具备良好的可扩展性,可轻松适配其他 Transformer 架构、不同的创意要求(如品牌词嵌入、情感风格控制)以及各种优化准则(如成本、转化率等)。这说明该方法的本质是提出了一种通用的可控文本生成范式,而不仅限于广告标题场景。

关键要点

  • 方法名称:COBART(Controlled, Optimized, Bidirectional and Auto-Regressive Transformer),基于 BART 微调。
  • 核心创新:引入前缀控制标记(prefix control tokens),允许用户在生成标题时指定长度、格式等约束,同时保持对 CTR 的优化。
  • 优化目标:联合优化文本质量(Rouge-L)和商业指标(预估 CTR)。
  • 性能提升:与强基线相比,Rouge-L 提升 25.82%,估计 CTR 提升 5.82%。
  • 灵活性:不限于特定架构或广告格式,可迁移至其他 Transformer 模型(如 T5、GPT 等)以及不同的创意需求。
  • 可控粒度:用户可精确控制生成标题的长度,以适应不同的广告位和版式。
  • 实验验证:在公开的广告标题数据集上进行评测,结果具有统计显著性。

意义与影响

COBART 为广告创意生成领域提供了一种兼顾“优化”与“可控”的实用方案。传统方法往往需要在模型精度和灵活性之间做取舍:要么训练多个专用模型来服务不同格式,要么牺牲优化效果来满足多样性。COBART 通过前缀控制标记巧妙地解决了这一矛盾,使得单个模型即可动态适配多种需求,降低了部署和维护成本。

从技术角度看,该工作展示了在预训练语言模型基础上添加轻量级控制信号的可行性和有效性,这为其他生成任务(如产品描述、营销文案、摘要生成等)提供了可借鉴的范式。特别是其“语义控制 + 指标优化”双目标的设计思路,有望推动更多商业场景下的文本生成研究。

此外,COBART 的开放性和可扩展性意味着它可以很容易地融入现有的广告创意工作流。广告主或平台可以仅通过调整前缀控制标记,即可为不同渠道生成定制化的高 CTR 标题,而无须重新训练模型。这在实际运营中具有显著的成本优势和时间效率提升。

长远来看,COBART 所代表的“可控优化生成”方向,可能催生新一代的智能营销文案工具,使 AI 生成的广告内容在自动化和个性化之间达到更优的平衡。当然,该方法目前仅针对标题生成,未来可进一步拓展至正文、标语、品牌口号等多类创意元素。同时,如何更精细地控制生成风格、融入品牌一致性约束,也是值得继续探索的方向。

查看原文 →arxiv.org