ICG：基于多模态大模型提示与个性化偏好对齐的封面图像生成框架

背景

随着多模态大语言模型（MLLMs）和扩散模型（Diffusion Models, DMs）的快速发展，人工智能生成内容（AIGC）的能力得到了显著拓展。在数字平台中，封面图像（Cover Image）对于提升用户参与度至关重要。然而，尽管其重要性不言而喻，针对个性化封面图像生成的研究仍然相对匮乏。

现有的技术管线通常依赖于手工设计的提示词（handcrafted prompts）以及相互割裂的模块，难以兼顾语义相关性、美学质量与用户个性化需求。此外，由于缺乏带标签的监督数据，如何有效地将用户行为数据转化为模型可理解的偏好信号，并实现端到端的优化，仍是该领域的一大挑战。

核心内容

本文提出了 ICG（Improving Cover Image Generation via MLLM-based Prompting and Personalized Preference Alignment），这是一个新颖的框架，旨在通过整合基于 MLLM 的提示技术与个性化偏好对齐，生成高质量且具有上下文相关性的封面图像。

1. 架构设计：MLLM 与扩散模型的桥梁

ICG 的核心创新在于采用了一个适配器（Adapter）来桥接 MLLMs 和扩散模型，从而支持端到端训练。这一设计打破了以往模块间孤立处理的局限，使得语义理解与图像生成能够协同优化。

2. 语义特征提取与个性化注入

ICG 的处理流程包含以下关键步骤：

• 元令牌（Meta Tokens）提取：从商品标题和参考图像中提取语义特征，并将其转化为元令牌。
• 用户嵌入融合：利用用户嵌入（User Embeddings）对提取的语义特征进行细化，从而捕捉用户的个性化偏好。
• 上下文注入：将融合后的个性化上下文信息注入到扩散模型中，指导图像的生成过程。

3. 多奖励学习策略（Multi-Reward Learning）

为了解决缺乏标签监督的问题，ICG 采用了一种多奖励学习策略。该策略结合了以下两类奖励信号：

• 公共奖励：包括公开的审美质量奖励和语义相关性奖励。
• 个性化偏好模型：基于用户行为数据训练的个性化偏好模型，用于捕捉个体用户的独特喜好。

4. 无监督优化与兼容性

ICG 在优化过程中不需要真实标签（Ground-truth labels）。作为一个即插即用的适配器，ICG 兼容常见的检查点（Checkpoints），能够灵活应用于不同的基础模型架构。

关键要点

• 端到端训练能力：通过引入适配器，ICG 实现了 MLLM 与扩散模型之间的无缝连接，支持端到端的联合训练，避免了传统管线中模块割裂带来的性能损失。
• 个性化偏好对齐：不仅关注通用的美学和语义标准，还通过用户嵌入和多奖励学习策略，实现了深度的个性化偏好对齐，使生成的封面更贴合特定用户的兴趣。
• 解决数据稀疏问题：采用多奖励学习策略，结合公共奖励与基于用户行为训练的个性化奖励，有效缓解了因缺乏标注数据而导致的训练难题。
• 即插即用的灵活性：ICG 作为一个独立的适配器模块，兼容主流的检查点，无需重新训练基础模型即可部署，降低了应用门槛。
• 显著提升下游任务表现：实验表明，ICG 在图像质量、语义保真度和个性化程度方面均有显著提升，进而增强了用户吸引力，并提高了下游推荐任务的离线准确率。

意义与影响

ICG 框架的出现为个性化内容生成提供了一个新的技术范式。其意义主要体现在以下几个方面：

1. 提升用户参与度：通过生成高度个性化且高质量的封面图像，ICG 能够更有效地吸引用户注意力，从而提升数字平台上的用户互动率和留存率。
2. 优化推荐系统效果：由于生成的封面图像具有更强的语义相关性和个性化特征，它们作为推荐系统的视觉输入时，能够显著提高离线推荐准确率，验证了视觉内容与推荐算法之间的紧密耦合关系。
3. 推动多模态融合技术发展：ICG 提出的基于适配器的端到端训练方法，为如何更好地融合语言理解能力（MLLM）与图像生成能力（DM）提供了有价值的参考，有助于推动多模态人工智能技术的进一步演进。
4. 降低个性化生成门槛：无需真实标签的优化机制和即插即用的特性，使得中小规模平台也能低成本地部署个性化的封面生成服务，促进了 AIGC 技术在更广泛场景下的落地应用。