Introduction to Latent Variable Energy-Based Models: A Path Towards Autonomous Machine Intelligence

Paper: arXiv:2306.02572 Code search: 代码搜索未找到开源实现；本文是 JEPA-adjacent foundation / tutorial-theory note，不是一个带 released code 的方法论文。

1. Motivation（研究动机）

这篇笔记的核心不是提出一个可直接复现实验的新模型，而是把 Yann LeCun 的 autonomous machine intelligence 路线拆成可理解的构件：为什么当前 AI 缺少可泛化的世界模型、为什么概率建模在高维连续预测上会变得困难、为什么 Energy-Based Model（EBM）和 latent variable 是 JEPA / H-JEPA 的概念底座。因此它应归为 JEPA-adjacent foundation：标题里没有 JEPA，但第 6 节明确把 latent-variable EBM、regularized training 与 Joint Embedding Predictive Architecture 连接起来。

当前方法的主要瓶颈有三层。第一，很多大规模系统仍依赖 Supervised Learning（SL）或 Reinforcement Learning（RL）：SL 需要大量标注样本，RL 需要大量真实或模拟 trial。论文用自动驾驶举例：现有自动驾驶在高精地图、多传感器、好天气、宽道路等受限条件下能工作，但距离 SAE Level 5——任何环境、无需人类注意、甚至不需要方向盘和踏板——仍很远；更关键的是，人类学开车只需要数十小时主动观察和练习，而机器系统往往需要海量视频。第二，LLM 等系统可能给出“推理”的表象，但它们主要从文本获得知识，缺少幼儿通过视觉、触觉、行动和社会互动形成的物理世界模型。第三，许多系统从输入到输出的计算步数固定，难以进行任意长度的 planning、reasoning 和 hierarchical decomposition。

论文要解决的问题不是“把某个 benchmark 刷高”，而是给 autonomous intelligence 一个可学习、可推理、可规划的表征范式：系统应能从 observation 中学到世界的 hierarchical representation 和 predictive model；能在潜在空间里表示 uncertainty / multimodality；能用 differentiable 的 energy minimization 进行 reasoning 和 planning；能把复杂任务分解成多层级行动序列。作者认为，未来 AI 的关键不是把所有未来细节都精确生成出来，而是预测对任务有用、可约束行动的抽象状态。

Figure 1 解读：这张图概括 LeCun 路线中的 modular autonomous AI。Perception 模块估计世界当前状态；World Model 根据 action 想象未来状态；Actor 提出 action sequence；Cost / Critic 为计划打分；Short-term memory 存储 state-cost episodes；Configurator 根据任务调节各模块。它与端到端 policy 的差别在于：planning 不必通过真实试错发生，而可以在 learned world model 中通过 differentiable inference 发生。

研究价值在于：如果一个系统能用 Self-Supervised Learning（SSL）学到抽象世界模型，并在 latent space 里做多模态预测和长期规划，它就有机会摆脱 SL 的标注瓶颈和 RL 的真实试错成本。论文强调，动物和人类并不是通过穷举行动后果来学习；它们大量依赖 observation、想象和局部行动反馈。对应到机器学习，SSL 应是“蛋糕”，SL 只是“糖霜”，RL 只是“樱桃”。这也是 JEPA 为什么重要：它把预测目标从 pixel-level reconstruction 改为 representation-level compatibility，从而允许模型忽略不可预测或任务无关的细节。

Figure 2 解读：Figure 2a 把 SSL 表示成“从可见部分预测隐藏部分”的任务；Figure 2b 用 cake analogy 表示信息量：SSL 每个样本提供最多的信息，SL 提供较少标注信息，RL 奖励通常只有很少 bits。这里的重点不是否认 SL/RL，而是把它们放到世界模型预训练之后：先学可泛化表征，再用少量 supervision 或 reward 做任务适配。

2. Idea（核心思想）

核心洞察：在高维连续世界里，未来往往是多模态且不可完全预测的；与其学习一个规范化概率分布或重建所有像素，不如学习一个 energy function，在抽象表征空间中给“兼容的未来”低能量、给“不兼容的未来”高能量，并用 latent variable 表示输入中缺失但对预测有用的解释因素。

本文的关键创新是把三个概念串起来：EBM 用非规范化能量代替高维概率密度；latent variable 允许同一输入对应多个合理输出，并能承载 pose、segmentation、other agents’ behavior 等未观测结构；JEPA / H-JEPA 把预测放到 learned embedding space，并用 regularization 防止 collapse，从而形成多层级、多时间尺度的世界模型。它不是 I-JEPA/V-JEPA 那类有实验表格的方法论文，而是解释这些方法背后的 energy-based conceptual lineage。

与传统 probabilistic model 的根本区别是：probabilistic model 需要为所有可能输出分配归一化概率，训练常落在 negative log-likelihood / cross entropy 框架；EBM 只要求相容配置的 energy 更低，不必计算 partition function。与像素级生成模型的区别是：JEPA 不是预测每个像素，而是预测 $s_y=\mathrm{Enc}(y)$ 这类抽象表示；如果多个 $y$ 在任务相关语义上等价，它们可以映射到相近表征。与标准 feed-forward predictor 的区别是：latent-variable EBM 在 inference 时可对 $y,z$ 进行优化或边缘化，不被单一 deterministic output 绑定。

3. Method（方法）

3.1 总体框架：从 probability 到 energy，再到 latent-variable JEPA

论文首先指出，概率模型在高维连续输出上要计算或近似一个规范化分布，而真正用于决策时往往只需要知道哪个候选更好。EBM 定义一个标量能量 $F_{\theta }(x,y)$：兼容的 $(x,y)$ 能量低，不兼容的能量高。推理不是输出概率，而是求： $\check{y}=\arg {\min }_y{F}_{\theta }(x,y).$ 如果需要把 EBM 与概率模型连接起来，可用 Gibbs-Boltzmann 形式： $P(y\mid x)=\frac{\exp [-\beta F(x,y)]}{\int d{y}^{\prime }\exp [-\beta F(x,y^{\prime })]}.$ 其中分母是 partition function，$\beta$ 是 inverse temperature。论文的立场是：这个连接说明概率模型可看作规范化 EBM 的特例，但在高维连续域中 partition function 通常难以计算，因此 autonomous intelligence 不应把完整概率密度作为唯一目标。

Figure 3 解读：Figure 3a 从“预测一个输出”转向“用 $F(x,y)$ 表示约束满足程度”：给定条件 $x$，系统寻找低能量的 $y$。Figure 3b 用 $y=x^2$ 的玩具关系展示 energy landscape；同一训练集可以诱导多种能量函数，因此训练时只降低数据点能量是不够的，还必须限制数据流形之外的低能量区域。

Latent-variable EBM 进一步把能量扩展为 $E_{\theta }(x,y,z)$，其中 $z$ 是未观测变量。$z$ 的作用是解释 $x$ 中没有但预测 $y$ 所需的信息，例如人脸识别中的姿态、发色、性别，自动驾驶中其他驾驶者未来行为，语音识别中的 phoneme segmentation，手写识别中的字符切分。对 $z$ 的处理有两种常见方式：最小化或边缘化。 $F_{\theta }(x,y)=\arg {\min }_z{E}_{\theta }(x,y,z),$ 或 $F_{\theta }(x,y)=-\frac{1}{\beta }\log \left[\int d{z}^{\prime }\exp [-\beta E_{\theta }(x,y,z^{\prime })]\right].$ 最终仍用 $\check{y}=\arg {\min }_y{F}_{\theta }(x,y)$ 做推理。最小化更便宜，边缘化更接近统计物理中的 free energy，但在高维上往往昂贵。

Figure 4 解读：Figure 4a 说明 latent-variable EBM 的推理多了一步：先对 $z$ 做 minimization 或 marginalization，再对 $y$ 求低能量解。Figure 4b 的椭圆例子把 $z$ 解释为角度：一个点 $y$ 到椭圆流形的距离可通过寻找最近角度 $\check{z}$ 得到；若边缘化，则所有角度都贡献能量，近处贡献最大。这说明 latent variable 可以把连续多模态结构参数化。

论文给出的 latent variable 例子可整理为：

Prediction problem	Potential latent variables
Face recognition	gender, face orientation, eye/hair color
Object recognition / scene parsing	object pose, lighting, segmentation, label assignment
Speech tagging	syntactic-unit segmentation, parse tree
Speech recognition	phoneme / phone segmentation
Handwriting recognition	line-to-character segmentation

方法直觉是：很多现实任务的难点不是输入到输出的函数太复杂，而是输出空间有隐藏结构。若模型被迫给出一个确定输出，就会平均化多种可能结果，导致 blurry prediction 或错误决策；若引入 $z$，模型可以保留多个可行解释，再由 cost / task context 选择合适解。但 $z$ 的信息容量必须受限，否则所有预测信息都会被塞进 $z$，模型就不再从 $x$ 学世界结构。

3.2 EBM 训练：防止 energy collapse

EBM 训练的目标是塑造 energy landscape：训练数据或兼容样本应低能量，数据流形之外的样本应高能量。不能只最小化训练样本能量，因为许多 architecture 会 collapse 成平坦能量面。例如 joint embedding 架构若只让 ${\mathrm{Enc}}_x(x)$ 和 ${\mathrm{Enc}}_y(y)$ 接近，两个 encoder 可能忽略输入并输出同一个常量；autoencoder 若只最小化重构误差，也可能学 identity function，使训练外输入同样低能量。

Figure 5 解读：Figure 5a 是 deterministic regression-like energy：能量是神经网络预测与 $y$ 的距离，因此不容易通过常量输出获得所有 $y$ 的低能量，但它也难以表示多模态。Figure 5b 展示容易 collapse 的 EBM：若 encoder 只需把正样本拉近，最简单解可能是所有输入映射到同一点，energy landscape 变平，模型失去区分能力。

Figure 6 解读：Figure 6a 是理想训练目标：降低数据点能量，同时防止其他区域也变低。Figure 6b 是 contrastive method：显式生成 negative / contrastive samples，把它们能量推高。Figure 6c 是 regularized method：不一定采样所有负例，而是限制低能量区域的体积，使模型不能把整个空间都压低。

Contrastive method 的典型形式是 pairwise hinge loss： $L_{\mathrm{hinge}}(x,y,\hat{y},\theta )={\left[F_{\theta }(x,y)-F_{\theta }(x,\hat{y})+m(y,\hat{y})\right]}^{+}.$ 其中 $(x,y)$ 是训练对，$\hat{y}$ 是 contrastive point，$m(y,\hat{y})$ 是 margin。训练要求数据点能量至少比 contrastive point 低一个 margin。问题在于：难点转移到如何生成足够好的 $\hat{y}$。若空间离散且小，可穷举；否则要用 Monte Carlo、most offending prediction、incompatible pair、corruption、GAN generator 等方式。论文强调这正是 contrastive method 在高维空间中可能指数级变差的原因。

Maximum likelihood 也可看成 contrastive method。把 EBM 通过 Gibbs 分布转成概率模型后，negative log-likelihood 可写为： $L_{\mathrm{NLL}}(x,y,\theta )=-\frac{1}{\beta }\log P_{\theta }(y\mid x)=F_{\theta }(x,y)+\frac{1}{\beta }\log \left[\int d{y}^{\prime }\exp [-\beta F_{\theta }(x,y^{\prime })]\right].$ 第一项降低训练样本能量；第二项通过对空间中其他 $y^{\prime }$ 的积分推高整体能量。其梯度包含类似 negative phase 的项： $\frac{\partial }{\partial \theta }\frac{1}{\beta }\log \int d{y}^{\prime }\exp [-\beta F_{\theta }(x,y^{\prime })]=-\int d{y}^{\prime }{P}_{\theta }(y^{\prime }\mid x)\frac{\partial F_{\theta }(x,y^{\prime })}{\partial \theta }.$ 因此 NLL 的优化需要从模型分布中采样，把数据流形外的样本能量推高。论文的批评是：NLL 倾向把数据流形变成无限深、无限窄的 canyon，需要额外 regularization；这再次说明纯概率密度建模不是高维 autonomous intelligence 的理想核心。

Regularized / architectural methods 的思路是限制低能量区域体积，而不是枚举负例。限制方式可以是架构内建的容量约束（PCA 的低秩、$k$-means 的离散码本、Gaussian mixture、normalizing flow 的硬规范化），也可以是显式正则项。例如 regularized autoencoder： $L_{\mathrm{reg}}(y,\theta )=D(y,\mathrm{Dec}(\mathrm{Enc}(y)))+R(\mathrm{Enc}(y)).$ 这里 $D$ 是重构距离，$R$ 限制编码容量。PCA、bottleneck AE、$k$-means、Gaussian mixture、sparse coding 都可被放进这个框架。对于 latent-variable model，还可以令 $z\sim q(z\mid y)$，最小化期望能量： $⟨F(y){⟩}_z=\int dzq(z\mid y)E(y,z),$ 并用 $\mathrm{KL}(q(z\mid y)\Vert p(z))$ 度量 $z$ 对 $y$ 的依赖程度，从而把正则化解释成“降低期望能量，同时最大化熵 / 限制信息容量”。

3.3 历史例子：Hopfield、Boltzmann、Denoising AE

Hopfield network 是 fully-connected recurrent network，连接对称 ${\theta }_{ij}={\theta }_{ji}$，神经元状态 $y_i\in \{-1,1\}$，能量为： $F_{\theta }(\mathbf{y})=-{\sum }_{ij}{y}_i{\theta }_{ij}{y}_j.$ 推理通过反复更新 $y_i\leftarrow \mathrm{sign}({\sum }_j{\check{\theta }}_{ij}{y}_j)$ 收敛到局部能量最小值；训练可用 Hebbian learning： ${\theta }_{ij}\leftarrow {\theta }_{ij}-\frac{\partial L({\mathbf{y}}^{\mathrm{train}},\theta )}{\partial {\theta }_{ij}}={\theta }_{ij}+y_i^{\mathrm{train}}{y}_j^{\mathrm{train}}.$ 缺点是没有 contrastive term，容易出现 spurious minima。

Boltzmann machine 在 Hopfield network 中加入 hidden units，也就是 latent variables。能量和边缘化后的 free energy 为： $E(\mathbf{y},\mathbf{z})=-{\sum }_{ij}{y}_i{\theta }_{ij}^{yy}{y}_j-{\sum }_{ij}{z}_i{\theta }_{ij}^{zz}{z}_j-{\sum }_{ij}{y}_i{\theta }_{ij}^{yz}{z}_j,$ $F(\mathbf{y})=-\log {\sum }_{\mathbf{z}}\exp [-E(\mathbf{y},\mathbf{z})].$ 若只允许 visible-hidden 连接，就得到 Restricted Boltzmann Machine。它的训练包含 positive phase 与 negative phase：前者降低数据及其 hidden explanation 的能量，后者提高模型采样出的 visible-hidden 配置能量。实际困难是 MCMC sampling 代价很高。

Figure 7 解读：Figure 7a 是 Hopfield network，把记忆存成能量盆地；Figure 7b 是 Boltzmann machine，引入 hidden units；Figure 7c 是 Restricted Boltzmann Machine，只保留 visible-hidden 连接以简化采样。它们展示 latent variables 在 EBM 传统中并不是附属技巧，而是从早期 hidden units 开始就承担“解释未观测结构”的角色。

Denoising Autoencoder（DAE）也是一种 contrastive EBM：输入是被噪声或 mask 破坏的样本，目标是恢复 clean version。它等价于把 corrupted sample 拉回数据流形。但在连续图像/视频中，若一个 corrupted point 位于两个合理流形分支之间，单一输出会落到平均位置；这正是 latent variables 与 joint embedding 要解决的多模态问题。

Figure 8 解读：Figure 8a 是 denoising / masked AE：encoder 读入 corrupted input，decoder 输出 clean target。Figure 8b 展示螺旋数据流形上的 denoising；绿色点被拉回橙色流形，但位于两个分支之间的点存在多解。文本中的 BERT / NLLB 例子说明 masked AE 在离散语言上很成功，但在图像/视频等连续域里，单一重构目标容易平均化多种可能结果。

3.4 JEPA：在表征空间做 latent-variable EBM

JEPA 把 EBM、latent variable、joint embedding 合在一起。给定 $x$ 与 $y$，两个 encoder 产生 $s_x={\mathrm{Enc}}_x(x)$ 和 $s_y={\mathrm{Enc}}_y(y)$；predictor 用 $s_x$ 和 latent variable $z$ 预测 $s_y$。能量可理解为预测表示与目标表示之间的距离。两个 encoder 可以不同，甚至输入模态不同，例如视频与音频；encoder 也可以学习 invariance，把任务无关细节过滤掉。

Figure 9 解读：Figure 9 中，$x$ 与 $y$ 不直接在像素/原始空间比较，而是先变成 $s_x$ 与 $s_y$。$z$ 表示从 $x$ 无法确定但预测 $s_y$ 所需的因素。低 energy 表示 predictor 给出的 latent prediction 与 target representation 相容。JEPA 的关键是让模型预测“语义/状态表征”，而非重建所有不可预测的细节。

JEPA 的 collapse 风险来自两边 encoder：若只最小化 prediction error，它们可输出常量，prediction error 也很小。因此训练 loss 还需要三类约束：降低 prediction error；最大化 $s_x,s_y$ 对各自输入的信息；限制 $z$ 的信息容量。论文用 VICReg 作为 representation regularization 例子：对 batch 中 representation components 降低 covariance，使不同维度捕捉不同因素；用 hinge loss 保持每个维度 variance 不低于阈值，如 $[1-\sqrt{\mathrm{Var}(v_i)}{]}^{+}$，避免所有样本表示塌缩；也可用 expander 扩维以减少非线性依赖。相关架构还包括 BYOL、SimSiam、Barlow Twins。

Figure 10 解读：Figure 10 把 JEPA loss 拆成 prediction error 与 regularization。对 $s_x,s_y$ 的正则化是“保留输入信息”，防止 encoder 常量化；对 $z$ 的正则化是“限制解释变量容量”，防止模型把所有预测内容塞进 $z$。这张图是理解 JEPA 的核心：JEPA 不是简单 Siamese matching，而是一个通过能量、信息保留和 latent-capacity control 平衡的系统。

3.5 H-JEPA：多时间尺度世界模型与层级规划

H-JEPA 把多个 JEPA 叠起来。低层 JEPA-1 用细粒度 representation 做短期预测；高层 JEPA-2 用更抽象、更粗粒度 representation 做长期预测；中间可通过 CNN / pooling 做 coarse-graining。这样做的原因是：短期预测需要细节，例如物体位置、速度、局部接触；长期预测反而可能被过多细节干扰，需要抽象目标、可达区域、约束和子任务结构。

Figure 11 解读：Figure 11 展示 lower-level JEPA 负责 detail-rich short-time prediction，higher-level JEPA 负责 longer-term prediction。它对应 hierarchical planning：上层计划给下层提供更抽象的目标或约束，下层根据新 observation 持续细化和更新。论文把这视为第三个挑战——复杂 action sequence planning——的结构性答案。

3.6 论文概念伪代码与代码搜索状态

代码搜索未找到开源实现；以下伪代码是论文公式与图示的概念化表达，不对应 released repository，也不提供 github_ref。

import torch
import torch.nn.functional as F
 
 
def ebm_inference(energy_fn, x, y_init, steps=64, lr=1e-2):
    y = y_init.clone().detach().requires_grad_(True)
    for _ in range(steps):
        energy = energy_fn(x, y).sum()
        grad, = torch.autograd.grad(energy, y, create_graph=False)
        y = (y - lr * grad).detach().requires_grad_(True)
    return y.detach()

def contrastive_hinge_loss(energy_fn, x, y_pos, y_neg, margin_fn):
    e_pos = energy_fn(x, y_pos)
    e_neg = energy_fn(x, y_neg)
    margin = margin_fn(y_pos, y_neg)
    return F.relu(e_pos - e_neg + margin).mean()

def regularized_jepa_loss(enc_x, enc_y, predictor, x, y, z, lambda_info=1.0, lambda_z=1.0):
    s_x = enc_x(x)
    s_y = enc_y(y)
    s_pred = predictor(s_x, z)
    prediction_error = F.mse_loss(s_pred, s_y)
 
    # VICReg-like anti-collapse regularization: keep variance, decorrelate dimensions.
    var_penalty = F.relu(1.0 - s_x.std(dim=0)).mean() + F.relu(1.0 - s_y.std(dim=0)).mean()
    sx = s_x - s_x.mean(dim=0, keepdim=True)
    sy = s_y - s_y.mean(dim=0, keepdim=True)
    cov_x = (sx.T @ sx) / max(1, sx.shape[0] - 1)
    cov_y = (sy.T @ sy) / max(1, sy.shape[0] - 1)
    offdiag = lambda m: m.flatten()[:-1].view(m.shape[0] - 1, m.shape[1] + 1)[:, 1:].flatten()
    cov_penalty = offdiag(cov_x).pow(2).mean() + offdiag(cov_y).pow(2).mean()
 
    # Limit latent-variable capacity so prediction cannot hide all information in z.
    z_capacity = z.abs().mean()
    return prediction_error + lambda_info * (var_penalty + cov_penalty) + lambda_z * z_capacity

Paper Concept	Source File	Key Class/Function
EBM inference / contrastive loss	代码搜索未找到开源实现	N/A；论文给公式与概念图
Regularized latent-variable EBM	代码搜索未找到开源实现	N/A；论文讨论 AE / sparse coding / variational marginalization
JEPA / H-JEPA	代码搜索未找到开源实现	N/A；本文是 tutorial / conceptual lineage，而非 released implementation

4. Experimental Setup（实验设置）

本文没有常规 experimental setup：没有新数据集训练、没有 benchmark comparison、没有 ablation table、没有 hardware / optimizer / learning-rate schedule。它是 Les Houches Summer School Lecture Notes 风格的理论/教程文章，目标是解释 autonomous AI 架构的动机与 EBM / latent-variable / JEPA 的概念关系。因此，任何“训练配置数字”都不能从代码或实验配置中提取；论文未详细说明。

Datasets used and scale：没有用于本文方法验证的实验数据集。论文只引用若干应用案例和已有系统：自动驾驶需要海量 footage，而人类学车约二十小时；NLLB-200 作为 masked AE / SSL 在语言上的成功例子，可在 $202$ 种语言之间翻译，共 $40,602$ 个方向，训练集中有 18 billion sentence pairs，但覆盖的语言方向为 $2,440$ 个。这些数字是背景案例，不是本文实验设置。

Baselines compared：没有实验 baseline。概念对比包括 SL、RL、probabilistic models、contrastive EBMs、regularized EBMs、Hopfield networks、Boltzmann machines、denoising / masked autoencoders、BYOL、SimSiam、Barlow Twins 等。它们被用作理论谱系和局限分析，而不是同一 benchmark 的方法对比。

Evaluation metrics：没有准确率、FID、loss curve 或 downstream linear probing 指标。文章的“评估”是概念性质：是否能表示 uncertainty / multimodality，是否避免 energy collapse，是否在高维连续域避免 partition-function 或 contrastive negative sampling 的不可扩展性，是否支持 multi-timescale planning。

Training config：没有模型规模、GPU、batch size、learning rate、step count。论文讨论的训练目标是范式级别：contrastive hinge loss、NLL-as-contrastive loss、regularized AE objective、VICReg-like variance/covariance regularization、latent capacity regularization。由于无 released code，frontmatter 不设置 github_ref。

5. Experimental Results（实验结果）

因为本文是 tutorial / theoretical foundation，没有 main benchmark numbers。它的结论来自概念论证、历史模型分析和架构归纳。结果应按“论文主张成立的证据链”来读，而不是按 SOTA 表格来读。

主结论 1：概率建模在高维连续、多模态预测上不是理想默认形式。 论文并不是说概率永远无用，而是指出在 video frame、长期文本 continuation、复杂世界状态等空间中，枚举或规范化所有可能输出不可行。Gibbs-Boltzmann 公式显示 EBM 与概率模型可互相连接，但 partition function 是高维瓶颈。对决策来说，系统通常只需比较候选 action / state 的 score，不需要可校准的全空间概率。

主结论 2：EBM 的自由度必须配合防 collapse 训练。 只降低训练样本 energy 会导致 flat energy landscape 或 constant encoder。Contrastive method 通过 negative samples 解决 collapse，但负样本生成在高维上代价高；NLL 本质上也有 contrastive negative phase，并倾向形成无限窄的数据峡谷。Regularized method 更符合论文路线：限制低能量区域体积，或限制 latent variable / representation 的信息容量，从结构上避免所有输出都低能量。

主结论 3：latent variable 是表示不确定性和隐藏结构的关键，而不是噪声附加项。 在 structured prediction 中，许多必要结构本来就不可直接观测：segmentation、parse tree、pose、其他 agent 的未来意图。Latent variable 让 deterministic function family 表现出 non-deterministic behavior；但若 $z$ 容量过强，模型会绕过输入 $x$，把预测所需信息全部放入 $z$。因此 latent capacity control 是方法成败的核心。

主结论 4：JEPA 把预测目标从原始空间迁移到表征空间。 这解决了 SSL 在连续图像/视频中“平均多种未来”的问题：模型不必生成唯一像素答案，而是预测与目标兼容的 representation。若多个未来在任务相关抽象层面等价，它们可共享低能量区域。Regularized JEPA 同时需要保留 $s_x,s_y$ 对输入的信息并限制 $z$，否则会发生 informational collapse。

主结论 5：H-JEPA 是通向 hierarchical planning 的结构提案。 短期预测需要低层细节，长期预测需要高层抽象；堆叠 JEPA 可以让不同层在不同时间尺度上建模，从而把复杂任务分解为持续更新的子任务。这一点直接服务 LeCun 所说的 autonomous machine intelligence：世界模型先想象 action 后果，cost/critic 评估，actor 选择 expected cost 较低的计划。

限制与 caveats：第一，论文没有实验验证 H-JEPA 在具体任务上的性能，因此它更像研究纲领和教学综述。第二，energy values 不可校准，多个独立训练 EBM 的组合仍是难点。第三，regularization 的选择仍开放：VICReg、BYOL、SimSiam、Barlow Twins 等只是候选机制，不保证普适解决 collapse。第四，latent variable 的容量控制是 delicate trade-off：太弱无法表示多模态，太强会吞掉预测信息。第五，H-JEPA 的实际训练、planner 接口、cost module 学习、short-term memory 使用方式都没有在本文中工程化展开。

整体来看，这篇论文最有价值的地方是把 JEPA 从“一个自监督表征学习技巧”提升到“latent-variable EBM for world-model-based planning”的概念框架：EBM 负责兼容性评分，latent variable 负责多解和隐藏结构，regularization 负责防 collapse，JEPA 负责在抽象空间预测，H-JEPA 负责多层级长期规划。对于后续读 I-JEPA、V-JEPA、LeJEPA 或 world-model planning 论文，这篇是理解它们为什么不直接做像素生成、为什么重视 anti-collapse regularization、为什么强调 hierarchical abstraction 的基础读物。