← 返回信息流
AI 资讯雷峰网·3 小时前

ICML 2026 DAMP:面向高光谱影像恢复的退化感知度量提示框架

原标题:【ICML 2026】刷新高光谱图像恢复任务SOTA!DAMP:面向高光谱影像恢复的退化感知度量提示框架

速览

北京理工大学等团队在ICML 2026提出DAMP框架,解决高光谱图像恢复中未知退化适配难、泛化差的问题。该方法利用可解释的空间-光谱度量生成连续提示,结合退化自适应专家混合结构动态路由,无需显式先验即可应对混合及未见退化。实验显示其在多项任务上达到SOTA,且零样本表现优异、计算开销更低。

AI 深度解读

背景

高光谱图像(Hyperspectral Image, HSI)能够捕捉数百个连续波段的光谱信息,是精准农业、环境监测、地物分类及变化检测等空天领域应用的重要数据基础。然而,受限于成像硬件条件和物理环境干扰,实际采集的高光谱图像往往存在低信噪比、运动模糊、波段缺失等多种退化问题,严重降低了光谱特征的判别能力,进而影响下游任务的性能。

早期的高光谱图像恢复方法多为针对特定退化类型设计的专用模型,难以应对真实场景中混合且未知的退化模式。近年来,受自然图像恢复领域提示学习(Prompt Learning)思路的启发,研究者尝试构建统一的恢复模型。但现有的统一方法存在显著局限:

  1. 依赖显式退化先验:如预设退化类型或使用文本提示,这要求提前掌握准确的退化信息,而在真实场景中这通常难以实现。
  2. 采用黑盒隐式表征:这类方法容易对训练数据的退化分布过拟合,面对未见过的退化时泛化效果不佳,且缺乏对光谱相关性的显式建模,导致光谱保真度偏低。

针对上述痛点,北京理工大学、武汉大学等机构的研究团队提出了DAMP(Degradation-Aware Metric Prompting,退化感知度量提示)框架,旨在解决统一高光谱图像恢复中的泛化性与光谱保真度难题。该成果已被 ICML 2026 收录。

核心内容

DAMP 框架的核心思想是摒弃传统的显式标签或黑盒隐式向量,转而使用具备物理可解释性的空间-光谱统计度量来量化退化程度,生成连续的退化提示向量(Degradation Prompt, DP)。以此作为路由信号,动态激活混合专家结构(Mixture of Experts, MoE)中的专用模块,实现单一模型对多种、混合甚至未见退化类型的自适应恢复。

1. 退化感知度量提示(DP)

DAMP 首先从输入图像中提取空间-光谱维度的退化度量。研究团队从25个候选度量(覆盖熵、梯度、频率、相关性等)中,经过可解释性、覆盖性及区分度筛选,确定了6个核心度量:

  • 高频能量比 (HFER)
  • 空间纹理均匀性 (STU)
  • 光谱曲率均值 (SCM)
  • 光谱曲率标准差
  • 梯度标准差
  • 空间相关系数

这6个度量组成的6维向量完全基于图像本身的物理统计特征计算,具有稳健、轻量、透明的特点。实验表明,仅凭这三个代表性度量即可让不同退化类型形成清晰聚类,且不同退化在部分度量上存在分布重叠,证明了跨任务泛化的可行性。

2. 退化自适应混合专家结构(DAMoE)

为了将退化度量转化为自适应的恢复策略,文中设计了 DAMoE 模块。与传统 MoE 使用视觉特征或隐式提示做路由不同,DAMoE 将显式的 DP 向量作为路由先验:

  • 路由机制:输入特征经过全局平均池化后与 DP 向量拼接,通过投影和激活计算每个专家的门控得分。
  • 稀疏化选择:通过 Softmax 和 Top-k 筛选出最优专家子集,并对选中专家的输出进行加权融合。
  • 负载均衡:训练阶段在门控 logits 中加入高斯噪声,促进专家间的负载均衡并探索更多可能性。

例如,当高频能量比(HFER)较高(噪声强)时,模型会倾向于激活光谱滤波能力更强的专家,即使视觉特征模糊也能做出准确路由。

3. 空间-光谱自适应模块(SSAM)

SSAM 是 DAMoE 中的基础专家算子,旨在解决高光谱图像在空间和光谱维度退化的异质性问题。每个 SSAM 模块包含两个并行分支:

  • 空间分支:使用窗口多头自注意力捕捉空间结构依赖。
  • 光谱分支:使用 1D 卷积建模波段间相关性。

两个分支的输出通过可学习的权重融合,且权重之和为1。不同专家在训练中出现功能分化:部分专家侧重恢复纹理细节(空间权重高),部分专家侧重保证光谱保真度(光谱权重高)。路由机制根据 DP 动态组合专家,匹配最优的空间-光谱恢复平衡。

4. 整体架构

DAMP 采用层级化的 U 型架构。输入图像首先计算提取 DP 向量,同时经过 3x3 卷积提取浅层特征,进入四级编码-解码结构。解码器每层嵌入 DAMoE 模块,以 DP 为全局调控条件动态调整特征恢复,最后通过残差融合得到结果。

关键要点

  • SOTA 性能:在 5 类常规恢复任务(高斯去噪、高斯去模糊、超分辨率、图像修复、波段补全)上,DAMP 在自然场景(ARAD, ICVL)和遥感数据集上均达到了当前最优水平。例如,在 ARAD 数据集上平均 PSNR 达到 51.43dB。
  • 卓越的零样本泛化:在训练中未出现的退化类型(运动模糊、泊松去噪)上,DAMP 表现出强大的零样本泛化能力。在 CAVE 数据集的运动去模糊任务中,PSNR 比最优基线 PromptIR 高出 0.52dB;在泊松去噪任务中高出 2.10dB。
  • 可解释性与物理意义:通过基于物理统计的度量(如 HFER, STU, SCM)替代黑盒向量,确保了路由逻辑建立在退化的物理属性之上,避免了过拟合训练分布。
  • 计算效率高:尽管引入了自适应机制,DAMP 的计算开销低于大多数同类方法。其 FLOPs 为 313.8G,低于 PromptIR (573.4G) 和 MoCE-IR (365.5G)。度量计算和路由带来的额外耗时不足 0.2ms,满足实际落地需求。
  • 消融实验验证
    • 仅加入 DP 模块即可使平均 PSNR 提升 4.20dB。
    • 在此基础上加入 SSAM 模块,PSNR 再提升 1.41dB。
    • 相比频率路由或退化类型路由,DP 路由带来了显著的性能增益(高出 3.71dB - 5.16dB PSNR)。

意义与影响

DAMP 框架为统一高光谱图像恢复提供了一条兼具可解释性与泛化能力的技术路线,具有重要的学术价值与工程应用前景:

  1. 简化遥感数据预处理流程:在卫星和机载高光谱成像中,常面临大气扰动、传感器噪声、平台运动模糊等多种退化叠加。传统方法需先判断退化类型再切换模型,部署复杂。DAMP 无需提前输入退化先验,仅凭图像统计特征即可自动调整恢复策略,降低了多模型维护成本。
  2. 提升罕见退化场景的鲁棒性:遥感数据的退化模式受传感器、高度、天气等多因素影响,罕见退化样本稀缺。DAMP 基于内在物理统计特性的度量式提示,能稳定刻画训练分布外的退化,为少样本或零样本场景下的高光谱数据质量提升提供了有效参考。
  3. 局限与未来方向:目前方法仅在 7 类退化上验证了有效性,面对物理机制差异极大的罕见退化可能需补充度量;此外,自然场景与遥感数据目前仍需分领域训练,未来需探索域自适应技术以实现真正的跨域通用。
查看原文 →leiphone.com