Safetensors 正式加入 PyTorch 基金会：开源生态的安全与协作新篇章

背景

Safetensors 最初是 Hugging Face 的一个开源项目，其诞生源于一个具体且紧迫的需求：寻找一种能够存储和共享模型权重，且无法执行任意代码的安全格式。

在 Safetensors 出现之前，机器学习生态系统中主导的模型存储格式主要基于 pickle。这种格式存在显著的安全隐患，因为加载 pickle 文件时可能会执行恶意代码。在机器学习（ML）发展的早期阶段，这种风险被视为可接受的代价；但随着开源模型共享成为社区工作的核心环节，这种安全风险变得不可接受。

为了解决这一问题，Safetensors 被设计为一种极简格式：它包含一个硬限制为 100MB 的 JSON 头部，用于描述张量元数据，随后是原始的张量数据。这种设计实现了零拷贝加载（Zero-copy loading），即张量直接从磁盘映射，无需反序列化整个检查点即可进行懒加载（Lazy loading），允许用户仅读取单个权重。

尽管项目团队最初并未完全预料到其广泛的采用率，但如今 Safetensors 已成为 Hugging Face Hub 及其他平台上的模型分发默认格式，被数以万计涵盖各种模态的模型所使用，确立了其在开源 ML 社区中共享模型的首选地位。

核心内容

随着 Safetensors 影响力的扩大，Hugging Face 宣布该项目正式加入 PyTorch 基金会。这一举措旨在确保 Safetensors 真正归属于社区，而非单一公司。

治理结构的转变 虽然 Safetensors 一直是开源项目，但代码贡献仅是其演进的一部分。通过引入更多公司和贡献者参与项目治理，可以确保项目的发展反映构建在其之上的广泛社区的需求。加入 PyTorch 基金会意味着 Safetensors 获得了供应商中立的归属地。项目的商标、代码库以及治理权现在归属于 Linux Foundation，而非任何单一公司。

尽管治理结构发生变化，Hugging Face 的两名核心维护者 Luc 和 Daniel 仍保留在技术指导委员会（Technical Steering Committee）中，并继续负责项目的日常领导工作。但这标志着 Safetensors 在正式层面上已归属于依赖它的社区。项目团队认为，当每个贡献者都能基于现有基础进行构建时，安全性才能得到最佳保障，这一原则现已嵌入项目的治理结构中。

对用户的直接影响 对于绝大多数用户而言，此次变动不会带来任何改变。格式、API 以及 Hub 集成保持不变，没有破坏性更新。当前以 Safetensors 格式存储的模型将继续像现在一样正常工作。

对贡献者的新路径 对于贡献者而言，成为维护者的路径现在有了正式文档，并向社区中的任何人开放。项目的治理规则记录在代码库中的 GOVERNANCE.md 和 MAINTAINERS.md 文件中。对于基于 Safetensors 构建的组织，Linux 基金会下的中立治理提供了一个稳定、长期的基础，完全由社区驱动。

未来路线图 尽管 Safetensors 已成为成熟项目，但团队认为这仅仅是开始。未来的发展重点包括：

1. PyTorch 核心集成：团队正与 PyTorch 团队合作，使 Safetensors 能够作为 PyTorch 核心中 torch 模型的序列化系统使用。
2. 设备感知加载与保存：即将推出的功能将允许张量直接加载到 CUDA、ROCm 和其他加速器上，无需经过不必要的 CPU 暂存步骤。
3. 并行加载支持：正在构建针对 Tensor Parallel（张量并行）和 Pipeline Parallel（流水线并行）的一流 API，使得每个等级（rank）或流水线阶段仅加载其所需的权重。
4. 量化格式支持：随着生态系统量化格局的演变，项目将正式支持 FP8、块量化格式（如 GPTQ 和 AWQ）以及亚字节整数类型。

这些挑战涉及整个生态系统的利益，加入 PyTorch 基金会使得团队能够与其他托管项目协作解决这些问题，而非各自为战。

关键要点

• 归属权变更：Safetensors 正式加入 PyTorch 基金会，治理权、商标和代码库现由 Linux Foundation 管理，实现了供应商中立。
• 维护团队稳定：Hugging Face 的核心维护者 Luc 和 Daniel 仍留在技术指导委员会，继续主导项目的日常开发。
• 用户零干扰：对终端用户而言，API、格式和现有模型兼容性完全不变，无任何破坏性更新。
• 治理透明化：贡献者成为维护者的路径已正式文档化，治理规则公开于 GOVERNANCE.md 和 MAINTAINERS.md。
• 技术演进方向：
  • 计划集成至 PyTorch 核心作为默认序列化系统。
  • 支持直接加载到 GPU/加速器（CUDA/ROCm），减少 CPU 中转。
  • 优化张量并行和流水线并行的加载效率。
  • 正式支持 FP8、GPTQ、AWQ 等先进量化格式。
• 协作模式升级：在基金会框架下，Safetensors 将与其他托管项目协作，共同解决生态系统层面的技术难题。

意义与影响

Safetensors 加入 PyTorch 基金会是开源机器学习基础设施发展中的一个重要里程碑，其意义远超单一项目的治理变更。

首先，安全性与信任的制度化。通过引入 Linux Foundation 的中立治理，Safetensors 摆脱了单一商业实体的控制，这在一定程度上消除了社区对“供应商锁定”或“商业决策影响技术标准”的担忧。这种去中心化的治理结构有助于建立更广泛的信任，确保项目的发展始终服务于整个开源 ML 社区的最佳利益。

其次，生态系统的深度融合。Safetensors 从 Hugging Face 的一个独立项目转变为 PyTorch 基金会的一部分，标志着两大开源巨头在底层基础设施层面的深度协作。特别是计划将其集成到 PyTorch 核心作为序列化系统，将极大简化模型加载流程，提升性能（通过设备感知加载），并促进不同框架间模型权重的无缝交换。

最后，加速技术创新。通过集中治理资源和协作机制，Safetensors 能够更快速地响应量化、并行计算等前沿需求。例如，对 FP8 和亚字节类型的正式支持，将直接助力大模型在推理效率上的突破。这种“抱团”发展的模式，为应对机器学习领域日益复杂的工程挑战提供了更稳固的基础。