开源框架REDI实现科学AI数据自动化就绪

背景

高性能计算（HPC）设施（即领导级计算设施）管理着大规模的科学数据集，这些数据在作为 AI 训练数据使用之前，通常需要大量的转换工作。然而，目前尚没有一个完整的框架能够统一地实现以下能力：自动化转换、就绪性评估、来源追溯以及作为代理可调用技能进行部署。这一缺口制约了科学 AI 的数据准备效率与可复现性。针对这一挑战，研究人员提出了 REDI —— 一个开源框架，旨在填补这一空白。

核心内容

REDI 是一个面向科学 AI 的自动化数据就绪框架，它通过一个统一的五阶段管线（摄取、预处理、转换、结构化、输出）来工作。每个阶段都配备了用于可复现性的仪器记录，并且整个管线可以作为代理可调用的技能进行部署。与 REDI 配套的还有一个名为 SetGo 的工具，它能够自动完成 FAIR 合规性检查以及数据集目录的发布。

研究团队在四个科学领域对 REDI 进行了评估：气候学、蛋白质组学、材料科学和核聚变。结果表明，REDI 能够将上述领域的原始数据集全部转换为 AI 就绪状态，并且输出结果通过了领域专家参考标准的验证。初步性能测试显示，在 Frontier 超级计算机上针对气候数据集，REDI 实现了近乎理想的并行扩展，可扩展至 100 个节点。通过带有来源追踪的性能分析发现，文件 I/O 是整个管线中的主要成本，而格式选择是首要的优化杠杆。

SetGo 工具进一步强化了数据管理的 FAIR 原则（可查找、可访问、可互操作、可复用），自动生成元数据并发布到标准目录中，使得处理后的数据可以直接被社区检索和使用。

关键要点

• 五阶段统一管线：REDI 将数据准备过程分解为 ingest（摄取）、preprocess（预处理）、transform（转换）、structure（结构化）和 output（输出），每个阶段都支持来源追踪和可复现性。
• 代理原生部署：整个框架被设计为一个 agent-callable skill，这意味着 AI 代理或自动化工作流可以直接调用 REDI 来完成数据就绪任务。
• 跨领域验证：在气候、蛋白质组学、材料科学和核聚变四个截然不同的科学领域进行了测试，均成功将原始数据转换为 AI 训练就绪格式。
• 近理想并行扩展：在 Frontier 超级计算机上针对气候数据测试，扩展至 100 个节点时仍然保持接近线性的加速比。
• I/O 主导成本：性能分析表明文件 I/O 操作是管线的主要瓶颈，选择合适的文件格式（如 HDF5、Zarr 等）是优化性能的关键杠杆。
• FAIR 自动化：配套工具 SetGo 自动检查并确保数据符合 FAIR 原则，并将数据集发布到标准目录，促进数据复用。
• 开放源码：REDI 作为开源框架发布，社区可以自由使用、修改和贡献。

意义与影响

REDI 的提出标志着科学数据准备从手动、碎片化的流程向自动化、可复现、可共享的社区资产转变。它解决了长期困扰科学 AI 的一个根本瓶颈：数据就绪。以往，研究人员需要花费大量时间编写临时的转换脚本，难以追踪和复现，而 REDI 提供了一个标准化、可扩展的解决方案。

通过将数据准备过程封装为代理可调用的技能，REDI 为未来科学工作流中的自主 AI 代理铺平了道路。例如，一个科学 AI 代理可以直接请求 REDI 将某个原始数据集转换为训练格式，而无需人工干预。

此外，REDI 在 Frontier 这样的 Exascale 系统上的近理想并行扩展表明，它能够处理领导级计算设施中海量数据的规模需求。同时，通过揭示 I/O 瓶颈和格式选择的重要性，REDI 也为未来系统优化提供了明确方向。

总体而言，REDI 被定位为一个跨领域平台，为科学 AI 提供自动化的数据就绪能力，将数据准备这一瓶颈转变为一类可复现、可复用的社区资产。这对于加速科学发现、提升 AI 模型在科学领域的应用效率具有深远意义。