Castor: CERN Advanced STORage Manager

背景

Castor（CERN Advanced STORage Manager，CERN高级存储管理器）是由欧洲核子研究中心（CERN）开发的一套分层存储管理系统。该系统专为归档高能物理实验产生的海量数据而设计，其数据规模之大，从相关统计图表中可见一斑。

Castor 是 SHIFT（Scalable Heterogeneous Integrated FaciliTy for HEP computing，可扩展异构集成高能物理计算设施）的继任者。SHIFT 是在 20 世纪 90 年代开发并运营的早期存储系统。随着技术演进，Castor 本身也迎来了新的迭代：自 2020 年 6 月 29 日起，CTA（CERN Tape Archive，CERN 磁带归档系统）开始作为 Castor 的继任者投入运营，并逐步取代 Castor。

从 2001 年至今，CERN 磁带上的总数据量经历了显著增长。这一演变过程涵盖了 CASTOR 1（1998-2007 年）、CASTOR 2（2005-2022 年）以及 CTA（2020 年至今）三个主要阶段的数据统计。

核心内容

Castor 的核心功能在于管理包含磁盘和磁带在内的分层存储架构。用户可以通过 Castor 提供的命令行工具或基于 Castor API 开发的用户应用程序，对文件进行存储、列表查看、检索以及远程访问。系统提供了一系列访问协议，其中 XROOT 是主要且推荐的协议，GridFTP 也是支持的协议之一。RFIO（Remote File IO）协议曾受到支持，但已于 2016 年停止服务。

架构设计

Castor 的设计基于组件化架构，并利用中央数据库来保障 Castor 各组件状态变更的安全性。其核心组件包括：

• Stager（暂存器/磁盘池管理器）：负责分配和回收磁盘空间，控制客户端访问，并监督磁盘池的本地目录。
• Name Server（名称服务器）：维护 Castor 的名称空间（即文件和目录结构），并存储相应的文件元数据，包括文件大小、日期、校验和、所有权、ACL（访问控制列表）以及磁带副本信息。其命令行工具的设计模仿了 Unix 工具（例如 nsls 对应 ls），使用户能够方便地操作名称空间。
• Tape Infrastructure（磁带基础设施）：在特定条件下，Castor 会将文件保存至磁带，以确保数据安全并管理超出可用磁盘容量的数据存储。在 CERN，生产环境中使用的高容量磁带单元包括 Oracle StorageTek T10000C（5 TB）和 IBM TS1140（4 TB）。磁带盒被 housed 在磁带库中，访问过程完全自动化。Castor 在生产环境中使用的磁带库包括 4 台 Oracle SL8500 和 3 台 IBM TS3500。截至 2013 年 1 月，总的磁带归档容量约为 100 PB。

数据库与元数据管理

Castor 包含两个关键的数据库，分别管理不同的信息层级：

1. Volume Manager Database（卷管理器数据库）：包含每盘磁带的特性、容量和状态信息。
2. Name Server Database（名称服务器数据库）：包含磁带上文件（有时称为段）的信息，具体包括：
   • 所有权
   • 权限详情
   • 文件在磁带上的偏移位置

用户可以使用特定命令来显示这两个数据库中的信息。

自动化与运维

磁带的装载和卸载由卷驱动器队列管理器（VDQM）管理，并结合每种磁带库型号特定的库控制软件进行操作。

客户端与网格集成

• Client（客户端）：允许用户上传、下载、访问和管理 Castor 数据。
• Storage Resource Management（存储资源管理）：通过 SRM 协议允许在计算网格中进行数据访问。它代表用户或其他服务（如 FTS，即 LHC 社区用于导出数据使用的文件传输系统）与 Castor 进行交互。

关键要点

• 分层存储策略：Castor 结合了磁盘的高速访问和磁带的低成本大容量存储优势。磁盘用于频繁访问的数据，磁带用于长期归档。
• 成本与性能权衡：磁带存储每太字节（TB）的成本远低于硬盘，且在不访问磁带时不消耗电力。然而，磁带的访问延迟较高，通常在分钟级别，而非秒级别。
• 协议演进：XROOT 是当前推荐的主要访问协议，GridFTP 为辅。旧协议如 RFIO 已退役。
• 系统迭代：Castor 经历了 CASTOR 1 和 CASTOR 2 两个主要版本，最终被 CTA（CERN Tape Archive）逐步取代，反映了 CERN 数据存储需求的持续增长和技术架构的现代化。
• 高度自动化：从磁带库的物理访问到数据迁移逻辑，系统实现了高度的自动化管理，以应对 PB 级甚至 EB 级的数据规模。
• 元数据完整性：通过 Name Server 和 Volume Manager 数据库，系统精确记录了文件的位置、权限、校验和等关键元数据，确保数据的安全性和可追溯性。

意义与影响

Castor 及其继任者 CTA 代表了大型科学设施在数据存储管理上的工程卓越性。面对高能物理实验产生的爆炸式数据增长，Castor 提供了一种经过验证的、可扩展的分层存储解决方案。

其影响主要体现在以下几个方面：

1. 支撑大科学工程：为 LHC（大型强子对撞机）等实验提供了可靠的数据归档基础，确保了数十年积累的科学数据得以长期保存和访问。
2. 存储技术标准化：Castor 的架构设计和协议（如 XROOT）为其他大型数据中心和科研网格提供了参考范例，特别是在处理海量非结构化数据方面。
3. 成本效益优化：通过智能地将冷数据迁移至磁带，显著降低了长期数据存储的总体拥有成本（TCO），同时兼顾了能源效率。
4. 技术传承与演进：从 SHIFT 到 Castor，再到 CTA 的演进过程，展示了存储技术如何随着硬件发展（如磁带容量从 TB 级向更高容量发展）和软件架构优化而不断迭代，以适应新的数据挑战。

尽管 Castor 已被 CTA 取代，但其设计理念、组件架构以及对大规模分层存储的管理经验，仍然是现代数据基础设施的重要组成部分。