Epic Games 发布 Lore：专为大规模二进制文件设计的版本控制系统

背景

在大型软件项目和游戏开发中，版本控制系统的选择往往取决于项目的具体需求。传统的 Git 虽然凭借分布式架构和文本文件的高效处理能力统治了源代码管理领域，但在处理包含大量二进制资产（如 3D 模型、纹理、音频文件等）的游戏开发场景时，其局限性日益凸显。Git 在处理大文件时会导致仓库体积迅速膨胀，克隆和拉取操作耗时漫长，且缺乏对二进制数据的高效去重和按需加载机制。

Epic Games 作为虚幻引擎（Unreal Engine）的开发商，拥有全球最大规模的代码和资产库之一。为了解决超大型项目中二进制文件管理的痛点，Epic Games 正式宣布推出 Lore，这是一个集中式、基于内容寻址（content-addressed）的版本控制系统。Lore 旨在通过优化的架构，专门应对二进制优先（binary-first）存储、数据去重以及大规模下的稀疏/按需数据水合（data hydration）需求。

核心内容

Lore 的架构设计从根本上区别于传统的基于路径的版本控制系统。其核心机制包括以下几个方面：

1. 基于内容寻址与 Merkle 树结构： Lore 将仓库的状态表示为 Merkle 树（Merkle Trees）。这意味着文件的标识不再仅仅依赖于文件路径，而是基于其内容的哈希值。这种结构确保了数据的完整性，并允许系统高效地识别和引用重复数据块。

2. 不可变修订链（Immutable Revision Chain）： 与 Git 的提交历史类似，Lore 维护着一个不可变的修订链。每一次变更都会生成新的状态节点，确保历史记录的可追溯性和安全性，同时避免了历史数据被意外修改的风险。

3. 二进制优先存储优化： Lore 专为二进制数据进行了深度优化。它不仅仅关注文本差异，而是针对大型二进制资产进行了存储和传输层面的优化，显著提升了处理游戏资产、模型和媒体文件的效率。

4. 去重与稀疏/按需数据水合：

   • 去重（Deduplication）：利用内容寻址特性，Lore 能够自动识别并消除存储中的重复数据块，从而大幅节省存储空间。
   • 稀疏/按需水合（Sparse/On-demand Hydration）：这是 Lore 解决大规模数据管理问题的关键。系统允许用户仅下载和缓存当前工作所需的文件块，而无需克隆整个庞大的仓库。随着开发者的操作，数据会在后台按需加载（水合），极大地减少了网络带宽消耗和本地存储压力。

5. 集中式架构： 与 Git 的分布式架构不同，Lore 采用集中式架构。这种设计简化了权限管理和一致性保证，特别适合拥有强大中央服务器基础设施的大型企业环境，如 Epic Games 内部的高性能计算集群。

目前，Epic Games 已在 GitHub 上公开了 Lore 的仓库集合，开发者可以探索其完整的实现细节和使用方法。

关键要点

• 定位明确：Lore 不是 Git 的替代品，而是针对特定场景（大规模二进制资产管理）的专用解决方案。
• 技术核心：采用内容寻址、Merkle 树和不可变修订链，确保数据完整性与高效引用。
• 性能优势：
  • 存储效率：通过去重机制显著减少存储空间占用。
  • 传输效率：支持稀疏检出和按需加载，避免全量克隆带来的网络和时间成本。
• 架构选择：采用集中式架构，更适合拥有强大中央基础设施的大型组织，便于统一管理和一致性控制。
• 开源生态：Epic Games 将 Lore 的核心仓库开放在 GitHub 上，鼓励社区参与和反馈。

意义与影响

Lore 的发布标志着大型科技公司开始重新审视并定制底层基础设施以适应自身业务需求。对于游戏开发和大型软件工程项目而言，Lore 提供了一种处理“数据密集型”版本控制的新范式。

1. 解决行业痛点：它为游戏工作室、媒体制作公司和其他依赖大量二进制资产的行业提供了切实可行的解决方案，缓解了传统 VCS 在处理大文件时的性能瓶颈。
2. 推动 VCS 多样化：Lore 的出现表明，没有一种版本控制系统能适用于所有场景。未来可能会出现更多针对特定数据类型（如 AI 模型权重、科学计算数据集）优化的专用版本控制工具。
3. 企业级实践外溢：Epic Games 将内部验证过的技术开源，有助于提升整个行业在大规模数据管理方面的最佳实践，促进相关工具链（如 CI/CD 集成、资产管理系统）的演进。

随着 AI 模型规模不断扩大，模型权重文件也日益庞大，Lore 所采用的去重和按需加载技术未来也可能被借鉴到 AI 基础设施中，用于更高效地管理模型版本和数据集。