深度解读：利用 Core Image 增强 RAW 图像处理的最新进展

背景

在 Apple 平台上，RAW 图像文件（如 ProRAW）因其保留了传感器原始数据而备受专业摄影师和开发者的青睐。然而，与 HEIF 或 JPEG 等经过系统自动处理的格式不同，RAW 文件在显示前需要经过一系列复杂的处理步骤，包括元数据解析、去马赛克（Demosaic）、降噪以及白平衡和色彩调整等。

长期以来，Apple 的 Core Image 框架一直支持 RAW 文件的查看与基础编辑。从 2006 年仅支持 21 种相机型号，到如今支持包括 iPhone 在内的 784 种主流相机型号，系统内置的校准算法不断演进。然而，随着传感器技术的多样化（如非传统传感器模式）以及用户对图像质量要求的提高，原有的处理管线在应对高噪点、复杂纹理和高分辨率细节时，逐渐显露出性能与画质之间的权衡瓶颈。

此次发布的 RAW 9 版本，旨在通过引入基于 Apple Neural Engine 的 CoreML 模型，在保持高性能的同时，显著提升 RAW 图像的锐度、色彩准确性和细节还原能力。

核心内容

本次更新主要围绕 Core Image 框架中 RAW 处理能力的重大升级展开，具体涵盖以下几个核心方面：

1. RAW 处理流程回顾与演进

Core Image 对 RAW 文件的支持遵循标准的光学处理管线：

• 解析与解包：读取文件元数据并解包传感器原始值。此时像素仅包含红、绿、蓝中的一种值，呈马赛克排列。
• 去马赛克：将传感器数据转换为每个像素包含完整的 RGB 值。
• 降噪：消除光子噪声、读取噪声和热噪声。
• 锐化与对比度：应用卷积算法以锐化边缘并增强局部对比度。
• 色彩与色调调整：调整白平衡、曝光、色彩和色调，生成最终图像。

这一系列算法已内置于 iOS、iPadOS、macOS 和 visionOS 中，使得 Finder、Preview 和 Freeform 等系统应用能够自动支持 RAW 查看。任何使用 Image IO API 的应用也自动获得 RAW 支持。而使用 CIRAWFilter API 的应用（如 Photos、Pixelmator Pro）则能提供高级编辑功能。

2. RAW 9 的核心突破

RAW 9 是 Apple 迄今为止对 RAW 处理管线最大的一次更新，其核心改进在于：

• CoreML 模型集成：采用基于图块（tiled）的 CoreML 模型，将去马赛克与降噪过程结合，以实现最佳画质。
• Apple Neural Engine 加速：模型在设备端通过 Apple Neural Engine 核心运行，确保在追求极致画质的同时维持最优性能。
• 画质显著提升：
  • 低噪点场景：在 Sony Alpha 7 II 拍摄的复古仪表盘图像中，RAW 9 相比 RAW 8 提供了更清晰的图像和更易读的细微文字。
  • 高噪点场景：在 Canon 5D Mark III 拍摄的 ISO 51,200 高噪点蜡笔图像中，RAW 8 虽能恢复颜色但细节模糊，而 RAW 9 能准确还原颜色，甚至清晰呈现蜡笔表面的镜面高光。
  • 复杂传感器场景：对于 Fujifilm X-T5 这种具有非传统传感器模式的相机，RAW 9 有效减少了 RAW 8 中出现的色彩伪影和细节丢失，使刺绣纱线的纹理和微小文字更加清晰可辨。

3. API 使用指南：CIRAWFilter

要在应用中启用 RAW 9，开发者需使用 CIRAWFilter API：

• 启用方式：RAW 9 默认未启用。开发者需检查 supportedDecoderVersions 属性是否包含 version9 枚举，若支持，则通过设置 decoderVersion 为 version9 来启用。
• 相机支持列表：新增 supportedCameraModels 类方法，可获取支持特定版本（如 RAW 9）的所有相机型号列表。在 iOS、iPadOS、macOS 和 visionOS 27 的发布版本中，将支持数百种型号，涵盖所有主要专业相机厂商。支持列表将通过 OTA 更新扩展。原生拍摄 DNG 的相机（如 iPhone）自动支持 RAW 9。

4. 编辑属性与性能优化

• 可调属性：目前共有 20 种校准属性可供调整，包括曝光（exposure）、亮度降噪量（luminanceNoiseReductionAmount）、锐度量（sharpnessAmount）和对比度量（contrastAmount）。这些控制在 RAW 9 中表现更佳。
• 废弃属性：
  • colorNoiseReductionAmount：由于 CoreML 模型自动处理色彩降噪，此属性已失效。
  • detailAmount 和 moireReductionAmount：在 RAW 9 中不再需要且不再支持。
  • 开发者可使用 isSupported 属性检查特定属性是否适用于当前的滤镜实例。
• 性能机制：RAW 9 因运行 CoreML 模型（每图像数百次）而比前代更消耗资源和性能。但 Core Image 会缓存中间结果，因此在交互式编辑中，修改属性后的后续渲染依然快速响应。

关键要点

• 画质飞跃：RAW 9 通过结合去马赛克与降噪的 CoreML 模型，在高噪点、复杂纹理和非传统传感器数据下，显著提升了图像的锐度、色彩准确性和细节保留能力。
• 硬件加速：利用 Apple Neural Engine 运行 CoreML 模型，实现了画质与性能的平衡，确保在设备端高效处理。
• API 变更：
  • 必须显式设置 decoderVersion 为 version9 以启用新功能。
  • 使用 supportedCameraModels 查询相机兼容性。
  • 色彩降噪、细节量和摩尔纹减少属性在 RAW 9 中已移除或失效，由模型自动处理。
• 性能缓存：虽然单次渲染开销增加，但 Core Image 的中间结果缓存机制保证了交互式编辑时的流畅体验。
• 广泛支持：支持列表通过 OTA 更新动态扩展，涵盖主流专业相机及原生 DNG 设备（如 iPhone）。

意义与影响

RAW 9 的引入标志着 Apple 在移动端和专业级图像处理领域迈出了重要一步。对于开发者而言，这意味着可以利用更先进的 AI 模型为用户提供接近专业级后期处理能力的 RAW 编辑体验，而无需依赖外部服务器或牺牲设备性能。对于用户而言，无论拍摄设备如何，其多年前的 RAW 照片都能通过最新的算法重新处理，获得前所未有的画质提升，延长了存储数据的长期价值。

此外，这一更新强化了 Apple 生态系统中“拍摄即专业”的理念，通过统一的 Core Image 框架和不断进化的算法库，降低了专业图像处理的技术门槛，同时保持了系统级应用（如 Photos）与第三方应用（如 Pixelmator Pro）之间的一致性体验。随着支持相机型号的持续扩展，RAW 9 将成为未来几年 Apple 平台影像处理的核心标准。