ZeroFS：用S3打造高效日志结构文件系统

背景

Hacker News（简称 HN）平台是科技界开发者与工程师交流的技术资讯中心，每条 Show HN 帖子通常由开源项目作者亲自发布，邀请社区测试验证。ZeroFS 项目正是通过这类形式公开的：一位开发者展示了他们为 S3 存储桶设计的全新日志结构化文件系统（log-structured filesystem）。该项目旨在将 S3 兼容的存储桶呈现为 POSIX 文件系统或原始块设备，结合 NFS、9P 协议及 NBD 传输方式，允许用户直接在普通操作系统上挂载并使用。项目已在 GitHub 上开源，并通过 Docker、GitHub Actions 等平台提供部署支持，CI 流水线公开运行多套严格测试用例，包括 POSIX 语义验证、内核构建、压力测试及模型校验，旨在证明其可靠性和一致性。

核心内容

ZeroFS 是一个专为 S3 设计的日志结构化文件系统。它将 S3 兼容的存储桶通过三种方式呈现：一是作为 POSIX 文件系统，通过 NFS 和 9P 协议提供挂载；二是作为原始块设备，通过 NBD 协议导出。系统核心引擎采用日志结构化设计，所有写操作以不可变对象的形式写入 S3，任何删除操作都会触发压缩回收机制。数据在上传前经过压缩和加密处理，预热读取（warm reads）可通过本地缓存实现微秒级响应时间。

在测试与验证方面，项目 CI 流水线在每次代码变更时自动执行完整测试套件：pjdfstest 用于 POSIX 语义检查（包括权限、所有权、硬链接、重命名行为等），在 NFS、9P 和 FUSE 客户端下分别独立运行；xfstests 用于验证 Linux 内核文件系统测试套件，针对 ext4 和 XFS 本身进行端到端测试，CI 会构建 ZFS 池并从 ZeroFS 块设备挂载 Linux 内核源码树，进行全面 scrub 操作以确认无校验错误；kernel builds 直接编译 Linux 内核（使用 make -j$(nproc) 实现并行编译，作为并发写压力测试）；stress-ng 则对实时挂载进行全面文件处理压力测试，包括 access、chdir、chmod、chown 等操作；Jepsen 的 local-fs 套件驱动 9P 挂载进行随机操作历史检查，并通过 crash 模式验证恢复后状态与参考文件系统模型一致；另一个 Jepsen 套件则在 MinIO 环境下模拟领导者-备用模式，注入故障后确认每条已确认写入都能在故障转移后保留，恢复后的文件系统保持一致性。

文件系统功能覆盖 POSIX 语义完整性，pjdfstest 排除了协议特定的一小部分边界情况（列表已在仓库公布）。CI 还提供自托管选项：Rust 工具链在 ZeroFS 自身服务的文件系统上构建 ZeroFS，这是一个录制的会话演示而非自动化 CI 任务。

所有三个服务器实例（NFS、9P、NBD）可运行在单个用户空间进程中，共享同一个 S3 存储桶。客户端无需在本地安装额外组件：通过 Linux 内核内置 NFS 支持、9P 客户端或 nbd-client 即可挂载。实际挂载命令示例包括：

• NFS：mount -t nfs 127.0.0.1:/ /mnt/zerofs
• 9P：zerofs mount 127.0.0.1:5564 /mnt/zerofs（带 FUSE 客户端，无需 root 权限，可自动重连）
• NBD：nbd-client 127.0.0.1 10809 /dev/nbd0 -N vol1，支持直接挂载 ext4 文件系统、ZFS 池或 VM 引导盘，新设备可运行时动态挂载。

存储引擎的九大核心属性包括：

• 始终加密：每个块使用 XChaCha20-Poly1305 加密，数据密钥通过 Argon2id 由用户密码派生，无任何未加密模式。
• 压缩：使用 zstd 或 lz4 压缩，压缩算法可随时切换（读时自动检测现有数据 codec，无需迁移）。
• 缓存：可配置内存和磁盘缓存，暖读取微秒级完成，普通 S3 往返耗时 50–300 毫秒。
• 检查点：支持命名检查点，在启动时以只读方式打开任何检查点。
• 读副本：一个实例写入时，多个只读实例可同时服务相同桶，写入操作返回 EROFS，副本可自动拾取写者的变更。
• TRIM 支持：任何文件系统或 zpool 的 Discard 操作可释放对应 extents，压缩后回收 S3 中的空段，释放空间计费减少。
• 不可变段：文件数据打包为 32 KiB 不可变段对象，通过单独元数据索引寻址，数据永不就地重写，确保检查点和读副本看到一致视图。
• 诚实的 fsync：成功 fsync 意味着所有已确认写入已持久化到 S3；若可能丢失未刷写数据，下一次 fsync 将返回错误而非虚假成功。
• 高可用性：可选备用实例跟踪领导者（同桶），在领导者故障时自动接管；两者连接时备用实例也会缓存领导者已确认但未刷写的写入，确保故障转移后数据完整。

可选配置一节可启用 web console：开启 servers.webui 后，同一进程同时提供文件管理器（9P over WebSocket）、gRPC-web 流式仪表盘及终端（可引导根在挂载上的 Linux VM）。项目还附带四段 asciinema 录制的终端会话演示。

关键要点

• ZeroFS 将 S3 桶直接呈现为 POSIX 文件系统或块设备，支持 NFS、9P、NBD 三种客户端协议，客户端无需额外安装。
• 采用日志结构化引擎，所有写操作以不可变对象形式写入 S3，删除通过压缩回收，数据上传前压缩+加密。
• 预热读从本地缓存完成，微秒级响应；普通 S3 读往返耗时 50–300 毫秒。
• CI 流水线公开运行 pjdfstest、xfstests、kernel builds、stress-ng、Jepsen 系列套件，覆盖 POSIX 语义、内核测试、并发编译、故障注入及端到端 ZFS scrub，首次通过所有验证。
• 九大核心特性：始终加密（XChaCha20-Poly1305 + Argon2id）、可切换压缩、微秒缓存、检查点、读副本、TRIM 支持、不可变段、诚实 fsync、高可用性（可选 standby）。
• 支持自托管与 web console，单个进程运行三个服务器实例，适用于 macOS、Linux、Windows、BSD 等多系统挂载。
• 文件系统以 32 KiB 不可变段打包，通过元数据索引寻址，确保检查点和副本的一致性。

意义与影响

ZeroFS 的推出填补了 S3 与 POSIX 文件系统之间的差距，让用户无需额外本地存储或复杂配置，即可将云对象存储直接转为可直接挂载的文件系统或块设备。这在云计算、容器化部署和数据恢复场景中具有显著优势：用户可将现有 S3 存储桶无缝转为本地 ZFS 池或 ext4 文件系统，用于运行数据库、虚拟机、容器或科学计算工作负载，同时享受云存储的经济性和可扩展性。日志结构化设计结合不可变对象和压缩回收机制，天然支持高可用、灾难恢复和高性能缓存，极大降低了数据丢失风险，并通过微秒级预热读提升了日常访问体验。

在技术层面，ZeroFS 证明了用户空间文件系统实现的完整性——所有协议处理都在单个进程中完成，客户端仅依赖 Linux 内核原生支持，无需额外驱动或 root 权限。这降低了部署门槛，尤其适合多云环境、边缘计算和资源受限场景。项目的高可用性设计（领导者-备用模式 + 故障注入测试）以及诚实 fsync 机制，确保了生产级可靠性，减少了传统云存储在一致性方面的顾虑。

对于开发者社区而言，ZeroFS 提供了一个可独立验证的开源基准：公开的 CI 测试覆盖 POSIX 兼容性、内核构建压力和 Jepsen 模型校验，为后续类似项目（如云原生文件系统）树立了标杆。它还通过 web console 和 asciinema 录制增强了可观测性，让非技术用户也能轻松探索。长远来看，ZeroFS 可能加速 POSIX 在云环境中的普及，推动“云即本地”的理念，实现更高效的跨区域数据镜像和混合云存储架构。总的来说，这不是单纯的存储优化，而是文件系统与云原生技术的融合创新，值得开发者关注与实践。