ICML 2026 Spotlight Session 3 论文精选
速览
ICML 2026 Spotlight Session 3 精选了九篇论文,涉及图像美学评估中的梯度冲突、基于大视觉模型的图像编辑、文本驱动的3D生成、视觉网站开发基准、无遮罩视频字幕去除等方向。这些研究展示了AI在美学、3D、Agent等领域的创新。雷峰网从首尔会议现场精选呈现。
AI 深度解读
背景
在机器学习领域顶级学术会议 ICML 2026 上,Spotlight 论文展示了从图像美学评估到无线电信号理解、从3D生成到Agent优化等多个前沿方向。雷峰网报道小组在首尔COEX会展中心现场,从Poster展区数千张学术海报中精选出最具代表性的九篇论文,覆盖 AI 研究的多元突破——包括梯度冲突、无遮罩推理、多目标优化、连续时间动态建模等关键技术挑战。这些工作或提出新框架,或建立新基准,共同推动 AI 在理解、生成和决策等维度的能力边界。
核心内容
-
图像美学评估中的梯度冲突 —— AGREE
多个主流图像美学评估(IAA)模型在相同困难样本上集体失败,形成稳定误差聚类。作者发现根源在于端到端训练中,共享参数使不同属性主导的样本产生方向相反的梯度信号,互相抵消,导致代表性不足的属性子集难以优化。为此提出的 AGREE(Attribute-guided Gradient Routing for Establishing Agreement)是一个即插即用框架,通过属性解耦、语义锚点、敏感性路由和误差感知重加权四个互补机制,从参数、特征、样本和损失层面缓解梯度冲突。无需额外监督或架构修改,AGREE 在5个数据集×6个基线模型上取得一致提升,整体 SRCC 最高提升4.8%,困难样本 SRCC 最高提升38.5%。 -
PhotoAgent:探索式美学规划
指令驱动图像编辑的编辑质量高度依赖用户精心设计提示词,用户需自行拆解任务、安排操作顺序。PhotoAgent 将自主图像编辑建模为长期决策问题,自动推理用户美学意图,通过树搜索规划多步编辑动作,闭环执行中利用记忆和视觉反馈迭代优化。作者还构建了 UGC-Edit 美学评估基准(7000张照片+学习型美学奖励模型)和1017张照片的测试集,实验显示 PhotoAgent 在指令遵循度和视觉质量上持续优于基线。 -
RelaxFlow:文本驱动的非模态3D生成
图像到3D生成在遮挡场景下面临语义歧义。RelaxFlow 定义“文本驱动的非模态3D生成”任务,由文本提示引导不可见区域补全,同时严格保持输入观测的视觉保真度。关键洞察是不同区域需要不同控制粒度:刚性控制可见区域,松弛控制文本引导区域。RelaxFlow 是一个无需训练的双分支框架,通过多先验一致性模块和松弛机制解耦控制粒度。理论上,松弛机制等价于对生成向量场施加低通滤波器。作者引入 ExtremeOcc-3D 和 AmbiSem-3D 诊断基准,实验证明其在引导不可见区域生成匹配提示意图的同时不牺牲视觉保真度。 -
Vision2Web:层级化网站开发基准
大语言模型提升了编码Agent能力,但对端到端网站开发的系统性评估有限。Vision2Web 提出层级化基准,涵盖静态UI转代码、交互式多页前端复现、长时序全栈网站开发三个难度层次。基准从真实网站构建,包含193个任务、16个类别、918张原型图像和1255个测试用例。作者还提出工作流式 Agent 验证范式,结合 GUI Agent 验证器和 VLM 评判器。评估揭示各层级均存在显著性能差距,最先进模型在全栈开发任务上仍表现不佳。 -
CLEAR:端到端无遮罩字幕去除
现有视频字幕去除方法在训练和推理阶段都需要显式字幕遮罩序列。CLEAR 提出无遮罩框架,实现端到端推理。两阶段设计将先验提取与生成细化解耦:第一阶段通过双编码器上的自监督正交约束学习解耦的字幕表示;第二阶段基于 LoRA 适配结合生成反馈机制实现动态上下文调整。CLEAR 仅需基础扩散模型0.77%的参数量进行训练。在中文字幕基准上以+6.77dB PSNR和-74.7% VFID 大幅优于依赖遮罩的基线,并在英语、韩语、法语、日语、俄语、德语六种语言上展现零样本泛化能力。 -
ParetoPO:多目标优化工具Agent
工具集成语言Agent的对齐方法几乎只关注任务准确率,忽视工具使用效率等辅助目标。ParetoPO 是两阶段多目标优化框架:第一阶段利用超体积引导的动态标量化,根据全局 Pareto 前沿进展自适应调整奖励权重;第二阶段用基于 Pareto 排序的优势计算替代标量化学习信号,通过支配感知的信用分配促进非支配轨迹。在数学推理和多跳问答任务上,ParetoPO 持续发现具有更优准确率-效率权衡的策略。 -
PWC-Diff:从去噪到去信道化
无线信号识别(WSR)中,接收信号已被物理无线信道严重失真。现有去噪扩散模型只具备“去噪”能力,无法消除信道造成的系统性失真。PWC-Diff 将物理无线信道先验显式整合到扩散过程中,实现从“去噪”到“去信道化”的升级。核心架构 FusedFormer 包含融合模块和自注意力模块,联合捕获信号在整个扩散轨迹中的时域和频谱特征。在三个 WSR 任务的多个数据集上取得 SOTA 性能。 -
PaperBanana:自动作学术插图
基于语言模型的自主AI科学家在生成可出版学术插图方面仍是瓶颈。PaperBanana 是一个由 VLM 和图像生成模型驱动的智能体框架,协调专业化 Agent 完成参考检索、内容与风格规划、图像渲染,并通过自批评机制迭代精炼。作者构建了 PaperBananaBench 基准(292个方法流程图测试用例,来源于 NeurIPS 2025 出版物),实验表明 PaperBanana 在忠实度、简洁性、可读性和美观度四个维度上持续优于基线,并可扩展到高质量统计图表的生成。 -
CoCLD:从不规则事件学习耦合连续时间潜在动态
不规则采样事件序列中,个体状态连续演化并受群体层面分布动态影响。CoCLD(Coupled Continuous-Time Latent Dynamics)首次在连续时间潜在空间中联合建模个体潜在动态和群体层面分布变化,并整合基于扩散的潜在插值器和神经常微分方程(Neural ODE),实现任意时间点的潜在状态原则性插值、生成和对齐。理论上证明耦合机制在稀疏和不规则观测下给出连续时间潜在动态的一致估计量。实验涵盖下一事件预测、移动轨迹生成和序列行为建模,CoCLD 有效捕捉动态依赖。
关键要点
- AGREE:提出梯度冲突诊断与缓解框架,即插即用,显著提升困难样本美学评估性能。
- PhotoAgent:将图像编辑建模为长期决策问题,通过树搜索和视觉反馈实现自主专业级修图。
- RelaxFlow:首个文本驱动的非模态3D生成方法,通过松弛机制解耦可见/不可见区域的控制粒度。
- Vision2Web:层级化网站开发基准(三层次),揭示 Agent 在全栈开发中的显著差距。
- CLEAR:端到端无遮罩视频字幕去除,仅0.77%参数量训练,六语言零样本泛化。
- ParetoPO:两阶段多目标优化框架,平衡工具Agent的准确率与效率,发现 Pareto 最优策略。
- PWC-Diff:将物理信道先验融入扩散过程,实现“去信道化”,提升无线电信号识别性能。
- PaperBanana:自动化学术插图生成框架,通过自批评机制达到出版质量,填补AI科学家全流程的插图缺口。
- CoCLD:首次在连续时间潜在空间中耦合个体与群体动态,适用于不规则稀疏事件序列建模。
意义与影响
这九篇 Spotlight 论文从多个维度拓展了 AI 的能力边界:在理解层面,AGREE 揭示了模型系统性偏差的深层机制并给出通用解决方案,PWC-Diff 开创了“去信道化”范式;在生成层面,RelaxFlow 和 CLEAR 分别突破了遮挡补全和无遮罩推理的限制;在交互与自动化层面,PhotoAgent、PaperBanana 和 Vision2Web 将 Agent
