新基准测试揭示AI在计算成像中的物理理解局限

背景

近年来，视觉语言模型（VLM）和 Agentic AI 在语义级别的视觉任务（如图像分类、描述、问答）上取得了显著进展，展现出接近甚至超越人类的语义理解能力。然而，在计算成像（Computational Imaging）领域，任务往往涉及深层的光学物理原理和反问题求解，例如光线与波动光学、图像信号处理、逆重建、计算传感和校准等。这些任务要求模型不仅“看到”图像，更要理解成像系统的物理机制，并据此进行推理和逆向恢复。

当前，业界对于大模型在语义视觉任务上的评测已较为成熟，但对于它们在物理驱动的成像任务上的实际能力，缺乏系统性的评估与基准。这导致一个关键问题悬而未决：AI 真的“理解”成像吗？ 即，这些模型是否具备处理成像过程中物理逆向问题的能力，还是仅仅停留于语义上的“看起来合理”？

核心内容

为填补这一空白，研究团队提出了 ImagingBench —— 一个包含 20 个计算成像任务的系统性基准测试，覆盖五个核心类别：射线与波动光学、图像信号处理、逆重建、计算传感和校准。

ImagingBench 设计了三种互补的实验设置：

• Expert（专家模式）：固定专家引导的逆重建，即由专家预定义重建流程，Agent 只需调用预构建的求解器。
• Planner（规划器模式）：规划器引导的逆重建，模型需要自主规划步骤并选择合适的工具/方法。
• Forward（前向模式）：前向系统仿真一致性检查，模型需基于对成像系统的理解，预测输出图像与真实物理系统输出的一致性。

研究团队对包括 Gemini、GPT 和 Qwen 在内的主流闭源与开源多模态系统进行了测评，并将其与代表性的任务特定非 Agentic 基线（传统专业算法）进行对比。

结果显示：

• 在所有任务中，Agentic 模型的性能始终弱于专用计算方法，尤其是在计算传感任务上（如无透镜成像、事件相机重建、飞行时间成像、全息成像等），差距尤为显著。
• Planner 引导相比固定的 Expert 提示，带来的提升微乎其微且不稳定，表明当前 Agent 即使拥有规划能力，也难以有效整合物理知识。
• 尽管 Agent 模型生成的输出图像在视觉上往往“看起来合理”，但基于参考标准的保真度（如 PSNR、SSIM 等指标）表现很差。这揭示了 语义视觉能力与物理接地成像性能之间的巨大鸿沟：模型可以“猜出”大致模样，却无法准确恢复物理真实的细节。

ImagingBench 提供了一个统一的测试平台，用以量化和跟踪 Agentic AI 在计算成像领域的进展。

关键要点

• ImagingBench 是首个针对计算成像任务的多模态 Agent 系统性基准，涵盖 5 大类共 20 个具体任务。
• 评估采用三种模式：Expert（固定专家引导）、Planner（自主规划引导）、Forward（前向一致性检查）。
• 参与评测的主流模型：Gemini、GPT、Qwen 系列（闭源/开源代表性模型）。
• 所有 Agentic 模型在计算成像任务上均显著弱于专用算法，尤其在计算传感（无透镜成像、事件重建、ToF、全息等）任务上差距最大。
• Planner 引导相比 Expert 基线提升有限且不稳定，说明当前规划能力无法有效弥补物理知识缺失。
• 模型输出视觉上“可接受”但物理保真度低，语义理解与物理忠实度之间存在本质脱节。
• ImagingBench 为未来 Agentic AI 在物理成像领域的评估和改进提供了标准化测试床。

意义与影响

ImagingBench 的提出对 AI 社区和成像领域均具有重要意义：

1. 揭示当前能力的盲区：主流多模态模型在语义视觉任务上的优秀表现，容易让人误以为它们同样能处理任何视觉相关的任务。ImagingBench 用具体数据证明，在物理驱动的成像逆问题上，这些模型远未达到实用水平。

2. 推动 Agentic AI 的物理理解研究：当前 Agent 主要依赖预训练知识和大语言模型的推理能力，然而成像任务所需的物理世界建模、逆问题求解等，尚未被有效编码。ImagingBench 为研究者提供了清晰的目标和评价标准，激励开发真正具备物理常识的 Agent。

3. 应用层警示：在医疗影像、遥感、工业检测、自动驾驶等依赖物理成像系统的领域，部署基于大模型的 Agent 时需极度谨慎，不能依赖其“看起来合理”的输出。该基准可作为选型和风险评估的参考。

4. 方法论启示：三种实验设置（Expert/Planner/Forward）为评估 Agent 的物理知识整合能力提供了框架，可推广到其他需要物理或科学推理的领域（如声学、电磁场、气候建模）。

5. 社区协作：ImagingBench 作为开源基准，允许社区贡献新任务、更新模型评测，促进 Agentic AI 向物理接地方向演进。未来若能在该基准上取得突破，将标志着 AI 从“语义理解”迈向“物理理解”的关键一步。