ICML Spotlight Session 4-1 精选十篇论文

背景

ICML 2026 的投稿量较去年翻倍，评审标准经历了深刻的“重新校准”。在此背景下，从数千张学术海报中脱颖而出的 Spotlight 论文成为本届会议最值得关注的学术精华。本文聚焦 Poster Session 4 的十篇 Spotlight 论文，涵盖高效卷积算子、离散扩散模型、低精度训练、偏好优化理论、MoE 路由、大模型鲁棒性、黑盒优化、3D 点云补全、脑机接口和机器人记忆评估等多个方向，旨在以“一张图+一段解读”的方式呈现给未能亲临现场的读者。

核心内容

1. WBMM：大核深度卷积的效率困局被打破

大核深度卷积（Large Kernel Depthwise Convolution）在计算机视觉任务中表现优异，但核尺寸越大，基于 gather 操作的不规则内存访问越拖累计算速度。现有 Large Kernel Acceleration（LKA）技术在小特征图上有效，在大特征图上反而比不加速更慢。WBMM（Windowed Batch Matrix Multiplication）将输入划分为连续窗口，通过索引紧凑的相对位置偏置表构建权重矩阵，再用批量矩阵乘法实现规则化内存访问。这一转变带来反直觉特性：WBMM 的吞吐量随窗口增大而提升。算子级基准测试显示，使用 14×14 窗口的 WBMM 在速度上超越 5×5 深度卷积基线，同时提供 7.8 倍的单层感受野。配合跨窗口通信和分层窗口重参数化，WBMM 在 ImageNet-1K、COCO 和 ADE20K 上以 1.31–1.88 倍训练加速实现了相当或更高的精度，并在 GPU、CPU 和边缘设备上表现出跨硬件一致性优势，无需专用加速内核。

2. XDLM：统一离散扩散模型的两种范式

离散生成建模领域长期存在两种范式：Masked Diffusion Language Models（MDLM）擅长语义理解和零样本泛化但少步生成质量差；Uniform-noise Diffusion Language Models（UDLM）少步生成强劲但理解能力差。XDLM 通过一个静态噪声核（stationary noise kernel）从理论上证明 MDLM 和 UDLM 均可视为该框架的特例，实现了原则性的统一。通过对后验概率的代数简化，XDLM 有效缓解了离散扩散模型的内存瓶颈。实验结果：零样本文本基准比 UDLM 高 5.4 分；少步图像生成 FID 从 MDLM 的 80.8 降至 54.1；在 8B 参数大语言模型上仅用 32 步达到 15.0 MBPP，将基线性能翻倍。训练动态分析表明 XDLM 在长期扩展方面展现出更优潜力。

3. TetraJet-v2：实现端到端 4-bit 全量化训练

大语言模型训练成本高昂，4-bit 全量化训练（FQT）若能接近无损精度将带来革命性效率提升。NVFP4 格式已在硬件层面提供可能，但实际训练中面临权重振荡和异常值两大问题。TetraJet-v2 提出无偏双块量化方法，在 NVFP4 线性层中实现近乎最优的收敛性；OsciReset 首次有效抑制权重振荡；OutControl 以混合精度策略守卫异常值精度。三者合璧，在所有线性层的激活、权重和梯度上均采用 NVFP4，实现端到端的 4-bit 全量化训练。在 370M 参数、212B 训练 token 规模上，TetraJet-v2 将 FP4 与 BF16 之间的性能差距平均缩小 51.3%，同时相比 FP8 实现 1.67 倍的端到端加速。

4. CPO：揭示 DPO 的“病态收敛”并给出药方

DPO（Direct Preference Optimization）因声称与 RLHF 理论等价且实现更简洁而成为对齐训练的主流选择。但本文证明这种等价性是有条件的：隐含假设 RLHF 最优策略必须偏好人类偏好的响应，而这一假设在实践中经常被违反。当假设失效时，DPO 出现“病态收敛”：策略在降低 DPO 损失的同时却越来越偏好人类不偏好的响应。理论上，此时 DPO 和 RLHF 优化的是不同目标函数。作者提出 CPO（Constrained Preference Optimization）：通过为 RLHF 添加约束实现可证明的对齐保证，同时保持实现简洁性。在标准基准测试上，CPO 达到当前最优性能。

5. SSMoE：无需训练的路由器——利用特征向量

稀疏专家混合（SMoE）架构的专家坍缩（expert collapse）问题长期存在。现有方案几乎全在改进路由器，需要从头训练或微调，计算成本高昂，且即使在推进已充分预训练的 SMoE 模型时坍缩问题依然存在。SSMoE（Singular Value Decomposition SMoE）直接利用专家权重矩阵的谱属性（特征向量/奇异值分解）来决定路由，无需训练、无需额外参数、无需计算开销。在多样化的语言和视觉任务上，无论是干净数据还是损坏数据，SSMoE 都展现出强大的泛化能力和鲁棒性。

6. 去偏置微调：提升 LLM 对自然扰动的鲁棒性

大语言模型对非对抗性提示词变体（语义相同但措辞不同）极为敏感，性能波动在真实应用中常见。作者通过理论分析揭示关键因素是神经网络模块输出中的扰动诱导偏置，并提出极简的去偏置微调方法：专门针对这一偏置进行校正，无需全量重训练，仅需轻量级微调即可显著提升鲁棒性。作者还明确了去偏置方法的有效边界，并能为随机提示扰动提供形式化的鲁棒性认证，从“经验有效”跃升到“可证明可靠”。

7. 扩散语言模型用于离线黑盒优化（BBO）

离线黑盒优化（BBO）是机器人和 DNA 设计等领域的核心问题。自回归大语言模型的单向生成模式无法捕捉双向依赖关系。本文首次将扩散语言模型引入 BBO，利用其双向建模能力解决自回归局限。为弥合扩散 LLM 的自然文本预训练与 BBO 异质信号之间的领域鸿沟，作者设计了统一提示-响应语料库和分隔符标记，提出两阶段后训练框架：第一阶段通过掩码响应预测进行监督微调，第二阶段以标签改进为奖励信号进行强化学习优化。在 Design-Bench 基准上达到最先进水平，离散任务仅需 1.5 个 H100 GPU 小时即可完成训练，在小数据场景下尤其强大。

8. SplAttN：解决点云补全中的跨模态熵坍缩

多模态学习推动了点云补全的进展，但标准的硬投影（hard projection）实际切断了模态之间的连接。当稀疏点云被硬投影到图像平面时，支撑集极度稀疏，视觉先验无法有效传播，作者将此失败模式命名为“跨模态熵坍缩”（Cross-Modal Entropy Collapse）。SplAttN 将硬投影替换为可微分高斯散点（Differentiable Gaussian Splatting），将投影重新定义为连续密度估计，避免稀疏支撑坍缩、促进梯度顺畅流动、提升跨模态连接的可学习性。在 PCN 和 ShapeNet-55/34 上拿下 SOTA，KITTI 真实世界基准上的反事实评估证明 SplAttN 真正建立了有效的跨模态连接。

9. Mind-Omni：统一脑信号编解码的离散扩散框架

脑机接口领域长期被“一任务一模型”思维定式禁锢。Mind-Omni 首次将七个不同的脑信号编码与解码任务统一到一个离散扩散框架下。核心创新是 Brain Tokenizer，将异构、连续的脑信号转化为标准化离散令牌，使大脑信号、视觉、语言三种模态在共享语义空间中实现令牌级直接交互。作者还策划了 Brain Question Answering（BQA）指令微调数据集，解锁神经信号的高级推理能力。Mind-Omni 在多任务统一框架中建立新 SOTA，统一训练后的模型在某些任务上表现超越规模更大的专用模型。

10. RoboMME：系统评估机器人记忆的标准化基准

长时程机器人操控中