JEPA架构深度解析

背景

这篇文章《The Annotated JEPA》源自 Hacker News，作者 Elon Litman 以《The Annotated Transformer》为蓝本，对 Yann LeCun 提出的 Joint Embedding Predictive Architecture（JEPA）进行了逐步骤、带注释的从头实现与讲解。自监督学习面临一个根本问题：如何在不借助标签、不陷入平凡解（如表示坍塌）、不浪费模型容量在无关细节上的前提下，让模型理解世界？JEPA 给出了一个在原理上优雅、在实践中微妙的答案——在表示空间（latent space）中进行预测。文章以图像领域的 I‑JEPA 为主要实例，随后扩展到视频领域的 V‑JEPA、V‑JEPA 2，以及最新的 LeJEPA——后者试图用分布正则化器替代工程启发式方法。

核心内容

问题的本质
自监督表示学习需要在没有标签的情况下学习有用特征。JEPA 的思路是：通过预测来训练，但预测发生在表示空间中。具体来说：给定图像的一部分上下文 (x)，以及一个不可见的目标区域 (y)。一个编码器将 (y) 映射为表示 (s_y)，另一个预测器基于上下文编码 (s_x) 输出对 (s_y) 的猜测 (\hat{s}_y)，训练目标是最小化距离 (D(\hat{s}_y, s_y))。预测器能够成功，当且仅当上下文编码 (s_x) 包含了足够的信息来确定 (s_y) 应该是什么。例如，看到汽车引擎盖时，预测轮子的表示要求引擎盖编码中已经包含了“这是一辆车”的信息。这一机制迫使上下文编码器从 (x) 中提取对预测 (y) 的表示有帮助的语义结构特征（如物体身份、空间关系、物理约束），同时忽略像素级的噪声；而目标编码器则被迫输出那些能被上下文预测的共同结构，而非仅属于 (y) 的琐碎细节。

JEPA 模板
JEPA 从成对的世界观测（语义相关）出发。一般形式考虑三元组 ((x, y, z))：(x) 是观测到的，(y) 是要预测的，(z) 是可选的潜在变量以处理预测的多模态性（当同一个 (x) 对应多种可能的 (y) 时）。在图像预训练中，(x) 可以是可见块，(y) 是同一图像的掩码块；在视频中，(x) 是片段前缀，(y) 是后续内容；跨模态场景下，(x) 是音频，(y) 是对应的视频。模板包含三个核心组件：

• 两个编码器 (f_\theta) 和 (f_{\bar\theta})，将观测分别编码到共享的表示空间，它们可以共享权重也可不同。
• 预测器将上下文表示映射到目标表示的预测。
• 最小化预测误差在表示空间中。

预测 vs. 重建
为什么在表示空间而非像素空间做预测？考虑两个语义相同（同一物体）的图像块，但因光照、纹理或JPEG伪影而在像素层面存在数百差异。重建目标必须解释所有这些差异，浪费容量在熵高的噪声上。而JEPA的目标编码器可以学习输出丢弃无关细节的表示，迫使模型关注语义特征，类似于感知损失（LPIPS）优于像素损失（MSE）。

坍塌问题
联合嵌入方法最容易的失败模式是：对所有输入输出相同向量，损失降为零但表示无用。I‑JEPA 通过引入不对称结构来解决：上下文编码器和目标编码器使用不同的参数（或使用指数移动平均更新目标编码器），并且预测器是浅层的、仅从上下文表示预测目标表示。这种设计使得坍塌解无法轻易实现，因为目标编码器无法简单地与上下文编码器协同输出常数。此外，文中还提到了后续的 V‑JEPA 和 LeJEPA 进一步用正则化器代替启发式策略。

关键要点

• 核心思想：通过预测目标区域在表示空间的表示来训练模型，利用预测的可实现性作为监督信号，迫使编码器提取语义结构特征。
• 优点：丢弃像素级噪声，避免重建的高维冗余；专注于物体身份、空间关系等可预测的抽象信息。
• 抗坍塌机制：使用不对称的编码器（如不同参数、EMA更新），使得输出恒定向量的平凡解在优化上不成立。
• 模块化架构：两个编码器+一个预测器+距离度量，可灵活适配图像、视频、跨模态等不同场景。
• 与文本的差异：LeCun 认为语言已是高度压缩的离散表示，预测下一个token主要是学习通信模式而非物理现实；视觉预测则涉及持久性、遮挡和动力学，更适合JEPA的表示空间预测范式。
• 发展脉络：I‑JEPA（图像的联合嵌入预测架构）→ V‑JEPA（视频的潜在预测）→ V‑JEPA 2 → LeJEPA（引入分布正则化器替代工程启发式）。

意义与影响

JEPA 是 Yann LeCun 在通向自主机器智能路线图中的核心模块，其本质是用预测在抽象表示空间中构建世界模型。与对比学习、掩码重建等方法相比，JEPA 在概念上更接近人类理解世界的方式——通过预测被遮挡或未来的部分来学习事物的本质结构，同时避免像素层面的过度拟合。该架构不仅为自监督视觉表示学习提供了新的范式，还启发了一系列后续工作（如视频预测和多模态统一框架）。LeJEPA 的提出进一步表明，理论驱动的分布正则化可以取代繁琐的手工数据增强和精心设计的训练技巧，使得 JEPA 家族朝着更可扩展、更可证明的方向演进。这些工作对计算机视觉、机器人学习以及通用人工智能的基础研究具有深远影响。