Video Representation Learning with Joint-Embedding Predictive Architectures

Paper: arXiv:2412.10925 Code: chengtan9907/OpenSTL — 论文实验声明使用的公开 PyTorch codebase；未找到 VJ-VCR 论文专用 released implementation。 Code reference: OpenSTL-Lightning @ eecf8a30 (2025-10-21)

1. Motivation (研究动机)

这篇论文要解决的是 video representation learning 中一个很具体的问题：怎样让 self-supervised 视频模型学习到“未来视频的高层动态信息”，而不是被像素级重建任务迫使去预测纹理、背景噪声和所有低层细节。视频比静态图像多了时间维度，真实应用关心的往往是对象速度、交互、动作、事件因果，而不是每个未来像素的精确值。作者认为，如果预训练目标仍然主要是 future frame prediction 或 masked video reconstruction，那么模型会把大量容量花在 pixel space 的细节生成上；这些细节对 reconstruction PSNR 有帮助，但不一定提升后续的 dynamics understanding。

现有方法的第一个瓶颈是 generative SSL 的目标错位。以未来帧预测为例，模型必须重建目标帧 $y$，因此损失函数直接惩罚 $\tilde{y}$ 与 $y$ 的像素差。这个目标会鼓励模型保留背景纹理、物体外观、边缘和局部运动等低层信息；但在 downstream task 只需要“物体移动多快”“未来动作集合是什么”时，这些信息可能是噪声。论文用 MovingMNIST 的实验说明了这一点：Generative with VCR 的 PSNR 达到 22.9，高于 VJ-VCR with Decoder 的 21.2，但速度 probing MSE 却是 0.10，而两个 VJ-VCR 版本都是 0.04。这说明像素重建质量不等价于高层动态可读性。

第二个瓶颈是 JEPA 在没有额外机制时容易 representation collapse。JEPA 的优势是把预测放在 abstract representation space：给定输入帧 $x$ 的 embedding $h_x$，预测目标帧 $y$ 的 embedding $h_y$，而不是直接预测 $y$。但如果不约束表示空间，encoder 可能把所有视频映射到同一个或少数几个向量；此时 prediction loss 很低，但表示已经没有信息。已有 V-JEPA 依靠 masking、EMA target encoder 和 stop-gradient 等 architectural asymmetry 来避免 collapse。本文选择另一条路线：直接对 video hidden representations 加 variance-covariance regularization，让每个时间步、每个 feature component 在 batch 内保持足够 variance，并降低不同 feature components 之间的 covariance。

第三个动机是视频未来本身常常是 stochastic 的。给定过去帧，未来并不唯一：MovingMNIST 中数字可以随机转向，CATER 中对象未来动作也是随机开始的。如果模型只从 $x$ 预测 $y$，它会在多个可能未来之间平均，导致模糊或把多条轨迹同时预测出来。作者因此引入 latent variable $z$，让 $z$ 承载过去帧中无法确定、但目标帧中真实发生的随机信息。这个设计不仅是为了降低预测误差，也用于检验 latent 是否能分离 stochastic information：例如 $z^{\ast }$ 是否能预测数字轨迹 switch $\psi$，或 CATER target frames 的 action set $a_y$。

这件事值得研究的原因是，JEPA 被 Yann LeCun 等人视为更接近 world model 的学习范式：模型不必在像素级生成世界，而是在抽象空间预测未来状态。如果这种目标能在视频上稳定训练并避免 collapse，就可能带来更低计算成本、更可迁移的动态表示，以及更适合机器人、自动驾驶、异常检测等场景的高层视频理解能力。本文的贡献不是提出更大的 backbone，而是在小型合成视频上验证一个原则：隐藏空间预测 + VCR collapse prevention + latent uncertainty modeling，比单纯像素生成更容易把动态因素编码到可 probing 的表示里。

2. Idea (核心思想)

核心 insight 是：视频中的未来预测不应该默认发生在 pixel space；如果让模型预测目标帧的 hidden representation，并用 variance/covariance 直接约束表示空间的统计结构，模型会更倾向于保留对象运动和事件等高层因素，而不是复现每个像素细节。VJ-VCR 把 JEPA 的“abstract-space prediction”与 VICReg 风格的 collapse prevention 结合到视频时间维度上。

关键创新可以概括为三点。第一，模型用同一个 encoder 得到 input frames $x$ 和 target frames $y$ 的表示 $h_x,h_y$，predictor 只需要从 $h_x$ 预测 ${\tilde{h}}_y$。第二，VCR 在 batch-level 对 $[h_x,h_y]$ 的每个时间步和 feature component 施加 high-variance / low-covariance 约束，避免 encoder 退化到常数映射或低维 manifold。第三，对 stochastic future，模型引入 latent $z$，训练时让 $z$ 参与预测，推理时通过优化 energy 找到 $z^{\ast }$，再检测 $z^{\ast }$ 是否真的包含未来随机事件的信息。

与 V-JEPA 的根本差异在于 collapse prevention 的机制：V-JEPA 依赖 masking、EMA encoder、stop-gradient 和 branch asymmetry；VJ-VCR 不把重点放在 teacher/student 非对称，而是显式正则化 representation distribution。与 generative video prediction 的根本差异在于目标空间：generative baseline 的主损失是 $\Vert \mathrm{Dec}(\mathrm{Pred}(h_x,z))-y{\Vert }_2^2$，VJ-VCR 的主损失是 $\Vert \mathrm{Pred}(h_x,z)-h_y{\Vert }_2^2$，像素 decoder 只是可选项。这个差异决定了模型到底被迫记住低层 reconstruction details，还是被鼓励学习能预测未来抽象状态的 latent dynamics。

3. Method (方法)

3.1 Overall framework: VJ-VCR vs generative baseline

Figure 1 解读：左侧是 VJ-VCR，输入帧 $x$ 和目标帧 $y$ 来自同一个视频；encoder 分别产生 $h_x$ 和 $h_y$，predictor 根据 $h_x$（以及可选 latent $z$）预测目标表示 ${\tilde{h}}_y$，核心 loss 是 hidden-space MSE $D({\tilde{h}}_y,h_y)$，同时对 $h_x,h_y$ 加 VC regularization。decoder 在 VJ-VCR 中是 optional，只在需要可视化或增加 reconstruction term 时使用。右侧 generative baseline 使用相同 building blocks，但默认经过 decoder 回到 pixel space，核心 loss 是 $D(\tilde{y},y)$；因此它优化的是未来帧重建，而不是目标表示匹配。

整体流程可以看成 energy-based learning。给定 input frames $x$、target frames $y$ 和 latent $z$，模型把 observed variables 与 latent variables 的相容性编码为一个能量值；训练时降低真实 $(x,y,z)$ 组合的能量，推理时在固定模型参数和观测视频的情况下寻找最优 $z^{\ast }$。这个框架自然适合 JEPA：预测目标不是像素，而是目标样本在 encoder 表示空间中的位置；如果隐藏空间被正则化到既不 collapse 又不过度冗余，那么低能量意味着“未来抽象状态预测对了”。

直觉上，VJ-VCR 能工作的关键不是“隐藏空间一定更语义化”，而是两个约束同时成立：prediction loss 让 $h_x$ 必须包含足以预测未来 $h_y$ 的动态因素；VCR 又阻止所有 $h$ 变成同一个向量或少数维度。缺少前者，representation 可能只是分散但与未来无关；缺少后者，JEPA 可能用常数 embedding 取巧。latent $z$ 则专门处理 $x$ 无法决定的未来分支，让 deterministic representation 和 stochastic choice 有机会分离。

3.2 Encoder, predictor, optional decoder, and latent variable

Encoder. 对同一视频采样 input frames $x$ 和 target frames $y$，encoder $f_{\theta }$ 输出 $h_x=f_{\theta }(x)$ 与 $h_y=f_{\theta }(y)$。论文强调 VCR 施加在 hidden representations 上，尤其是 top encoder layer；结论部分还指出未来可以探索多层 VCR。对于 MovingMNIST，encoder 是 5-layer CNN，包含 batch norm、ReLU、3 个 spatial convolutions、2 个 temporal convolutions 和 average pooling。对于 CLEVRER/CATER，论文使用 SimVP encoder，并用 Swin Transformer 作为 predictor。

Predictor. Predictor 接收 $h_x$，输出 ${\tilde{h}}_y$。在 deterministic setting，它只需学习从过去状态到未来表示的映射；在 non-deterministic setting，它还接收 latent $z$。MovingMNIST 的 predictor 是 2-hidden-layer MLP，输出 12 个 target frames 的 hidden state；CLEVRER/CATER 使用更强的时空结构，分别处理 6→20 或 50→50 的 frame prediction。

Decoder. Decoder 对 VJ-VCR 是 optional。默认 VJ-VCR 训练时 $\gamma =0$，不优化 pixel reconstruction；如果为了可视化 hidden representation 或补充 reconstruction quality，可以训练 decoder 从 ${\tilde{h}}_y$ 重建 $y$。论文的实验把 VJ-VCR w/o Decoder、VJ-VCR with Decoder、Generative with VCR、Generative w/o VCR 放在同一个表里，正是为了分离 hidden-space prediction、pixel-space reconstruction 和 VCR 三个因素。

Latent variable. $z$ 用于编码 $x$ 中不可观察但 $y$ 中发生的随机事件。MovingMNIST 中作者测试两种形式：一个 dimension 5 的 one-hot discrete latent，直接选择 predictor 顶层 5 个 linear layer 中的一个；另一个是 dimension 20 的 sparse latent，推理时用 FISTA 求 $z^{\ast }$。CATER 中 $z$ 是 binary vector，在预训练时提供 target frames 中跨时间的 ground-truth actions；推理时用 gradient descent 优化得到 $z^{\ast }$，再用 linear probe 测试它是否能恢复 target action set。

3.3 Variance-Covariance Regularization for video representations

设 batch 内有 $N$ 个视频 clip，每个 clip 有 $T$ 帧，encoder 输出 flattened hidden representation： $\mathrm{H}=\{h_i\mid h_i=f_{\theta }(x_i){\}}_{i=1}^N,h_i\in {\mathbb{R}}^{T\times d}.$ VCR 的目标是让 $\mathrm{H}$ 在每个时间步 $t$ 和 feature dimension $k$ 上都有足够 variance，同时不同 feature dimensions 之间尽量 de-correlated。variance term 是 hinge loss： $l_{\mathrm{var}}(\mathrm{H})=\frac{1}{Td}{\sum }_{t=1}^T{\sum }_{k=1}^d\max (0,\tau -\sqrt{\mathrm{Var}({\mathrm{H}}_{t,k})+\epsilon }),$ 其中 ${\mathrm{H}}_{t,k}=\{h_1^{(t,k)},\dots ,h_N^{(t,k)}\}$，实验中 $\tau =1$。如果某个 component 在 batch 中的标准差低于阈值，它会被惩罚；如果已经足够分散，则该项为 0。

covariance term 对每个时间步的 representation covariance matrix 取 off-diagonal squared sum： $l_{\mathrm{cov}}(\mathrm{H})=\frac{1}{Td}{\sum }_{t=1}^T{\sum }_{i\ne j}{\left[\mathrm{Cov}({\mathrm{H}}_{t,:})\right]}_{i,j}^2,$ $\mathrm{Cov}({\mathrm{H}}_{t,:})=\frac{1}{N-1}{\sum }_{i=1}^N(h_i^{(t,:)}-{\overline{h}}^{(t,:)})(h_i^{(t,:)}-{\overline{h}}^{(t,:)}{)}^{\mathrm{T}}.$ 最终正则化为： $l_{\mathrm{vcr}}(\mathrm{H})=\alpha l_{\mathrm{var}}(\mathrm{H})+\beta l_{\mathrm{cov}}(\mathrm{H}).$ 论文说 VCR 实际训练时在 batch level 计算，因此 $N$ 可以理解为 batch size。这个设计很像把 VICReg 从 image augmentations 扩展到 video clips：对每个时间位置都要求表示空间有足够 rank，不让所有动态轨迹压缩成少数主方向。

3.4 Training objective, inference, and generative baseline

VJ-VCR 的训练 energy 是 hidden prediction error、VCR、可选 reconstruction error 的和： $\begin{array}{rl}{\mathrm{E}}_{{\theta }_{\text{VJ-VCR}}}(x,y,z)& =D({\tilde{h}}_y,h_y)+l_{\mathrm{vcr}}([h_x,h_y])+\gamma D(\tilde{y},y)\\ & =\Vert \mathrm{Pred}(h_x,z)-h_y{\Vert }_2^2+\alpha l_{\mathrm{var}}([h_x,h_y])+\beta l_{\mathrm{cov}}([h_x,h_y])+\gamma \Vert \mathrm{Dec}(\mathrm{Pred}(h_x,z))-y{\Vert }_2^2.\end{array}$ 除非特别说明，VJ-VCR 不使用 reconstruction loss，即 $\gamma =0$。推理时，模型参数固定，通过最小化 energy 来得到 latent： $z^{\ast }=\arg {\min }_z{\mathrm{E}}_{{\theta }_{\text{VJ-VCR}}}(x,y,z)=\arg {\min }_z\left(\Vert \mathrm{Pred}(h_x,z)-h_y{\Vert }_2^2+\gamma \Vert \mathrm{Dec}(\mathrm{Pred}(h_x,z))-y{\Vert }_2^2\right).$ Generative baseline 使用相同 encoder/predictor/decoder building blocks，但主要优化 pixel-space reconstruction： ${\mathrm{E}}_{{\theta }_{\mathrm{GEN}}}(x,y,z)=\Vert \mathrm{Dec}(\mathrm{Pred}(h_x,z))-y{\Vert }_2^2+\alpha l_{\mathrm{var}}([h_x,h_y])+\beta l_{\mathrm{cov}}([h_x,h_y]).$ 这组公式说明了论文最重要的对照：不是 backbone 更强，而是 loss target 不同。VJ-VCR w/o Decoder 完全不需要 reconstruct pixels；VJ-VCR with Decoder 额外保留部分可视化/低层信息；Generative with VCR 即使有 VCR，仍然先服务 pixel reconstruction；Generative w/o VCR 既是 pixel target，又缺少 collapse prevention。

3.5 Pseudocode: paper-faithful VJ-VCR components and OpenSTL-referenced baseline

代码搜索说明：论文只在 Implementation and Hardware 中给出 OpenSTL 链接；我用 WebSearch/GitHub search 检索 Video Representation Learning with Joint-Embedding Predictive Architectures github、VJ-VCR github、2412.10925 github、作者名与方法名组合，并在 OpenSTL checkout 内搜索 JEPA、VJ-VCR、Variance-Covariance、VICReg、CATER、CLEVRER，未找到 VJ-VCR 论文专用实现。下面 VCR/VJ-VCR pseudocode 基于论文公式；OpenSTL 只用于锚定论文声明使用的 generic PyTorch codebase，其中 SimVP baseline 的 training step 是 pixel-space nn.MSELoss()。

import torch
import torch.nn.functional as F
 
def vcr_loss(H: torch.Tensor, alpha: float, beta: float,
             tau: float = 1.0, eps: float = 1e-4) -> torch.Tensor:
    """Paper-faithful VCR for video hidden states.
    H: [batch, time, dim], corresponding to [h_x, h_y].
    """
    B, T, D = H.shape
    std = torch.sqrt(H.var(dim=0, unbiased=True) + eps)       # [T, D]
    loss_var = F.relu(tau - std).mean()
 
    Hc = H - H.mean(dim=0, keepdim=True)                      # [B, T, D]
    loss_cov = 0.0
    for t in range(T):
        cov = Hc[:, t].T @ Hc[:, t] / max(B - 1, 1)           # [D, D]
        off_diag = cov - torch.diag(torch.diag(cov))
        loss_cov = loss_cov + off_diag.pow(2).sum() / D
    loss_cov = loss_cov / T
    return alpha * loss_var + beta * loss_cov

def vj_vcr_train_step(encoder, predictor, decoder, batch,
                      alpha: float, beta: float, gamma: float = 0.0):
    """Paper objective: predict target hidden state, optionally decode pixels."""
    x, y, z = batch                                           # x/y are frame clips
    h_x = encoder(x)
    h_y = encoder(y)
    h_y_pred = predictor(h_x, z)
 
    pred_loss = F.mse_loss(h_y_pred, h_y)
    vc_loss = vcr_loss(torch.cat([h_x, h_y], dim=1), alpha, beta)
    recon_loss = torch.tensor(0.0, device=x.device)
    if decoder is not None and gamma != 0.0:
        y_pred = decoder(h_y_pred)
        recon_loss = F.mse_loss(y_pred, y)
    return pred_loss + vc_loss + gamma * recon_loss

def infer_latent_z(encoder, predictor, decoder, x, y, z_init,
                   steps: int = 50, lr: float = 1e-2, gamma: float = 0.0):
    """Gradient-based inference for z*: minimize paper energy w.r.t. z."""
    h_x = encoder(x).detach()
    h_y = encoder(y).detach()
    z = z_init.clone().detach().requires_grad_(True)
    opt = torch.optim.Adam([z], lr=lr)
    for _ in range(steps):
        h_y_pred = predictor(h_x, z)
        energy = F.mse_loss(h_y_pred, h_y)
        if decoder is not None and gamma != 0.0:
            energy = energy + gamma * F.mse_loss(decoder(h_y_pred), y)
        opt.zero_grad()
        energy.backward()
        opt.step()
    return z.detach()

def openstl_simvp_pixel_training_step(simvp_method, batch):
    """Source-grounded OpenSTL baseline shape: SimVP predicts frames, criterion is MSELoss."""
    batch_x, batch_y = batch
    pred_y = simvp_method(batch_x)                            # recurrent if aft_seq_length > pre_seq_length
    loss = simvp_method.criterion(pred_y, batch_y)            # Base_method sets nn.MSELoss()
    return loss

Code reference: OpenSTL-Lightning @ eecf8a30 (2025-10-21) — pseudocode/source mapping for OpenSTL baseline only; VJ-VCR equations above are from the paper because no paper-specific released code was found.

Paper Concept	Source File	Key Class/Function
Generic SimVP encoder/decoder/hid translator used as paper codebase reference	openstl/models/simvp_model.py	SimVP_Model, Encoder, Decoder, MidMetaNet
Swin-style temporal/spatial block option used by SimVP hidden translator	openstl/modules/simvp_modules.py	SwinSubBlock, TemporalAttention, TAUSubBlock
Pixel-space generative training loop reference	openstl/methods/simvp.py	SimVP.forward, SimVP.training_step
Default criterion/optimizer scheduler plumbing	openstl/methods/base_method.py, openstl/core/optim_scheduler.py	Base_method.criterion=nn.MSELoss, get_optim_scheduler
MMNIST generic config in OpenSTL, not paper VJ-VCR config	configs/mmnist/SimVP.py	method='SimVP', lr=1e-3, batch_size=16
Paper-specific VJ-VCR/VCR/latenct optimization	not found in OpenSTL or public search	代码搜索未找到开源实现（paper-specific）

论文公式与 released code 实现差异：论文声称实验使用 OpenSTL codebase，但 OpenSTL 当前 eecf8a30 checkout 没有 VJ-VCR、JEPA、VCR loss、latent inference 或 CATER/CLEVRER paper-specific training config；因此训练配置数字必须以论文 Appendix B 为准，而不是 OpenSTL generic configs。尤其 configs/mmnist/SimVP.py 的 batch_size=16 是 generic repository config，不能替代论文报告的 MovingMNIST batch size 256。

4. Experimental Setup (实验设置)

Datasets and scale

MovingMNIST deterministic. 基于 MNIST 数字在 $64\times 64$ 黑色画布上运动。Appendix A 说明原始 MNIST 被分成 55,000 training samples 和 5,000 validation samples；deterministic version 生成 20-frame video，随机初始位置与固定 velocity，碰壁时 deterministic bounce。默认训练输入 3 frames，预测后续 12 frames。

MovingMNIST non-deterministic. 同样从 MNIST 生成，但视频长度为 6 frames。前 3 frames 中数字从画布中心向右水平移动，后 3 frames 随机切换到五个可能方向之一，$\psi \in \{2k\pi /5\mid k\in \{0,1,\dots ,5\}\}$。这里的随机 switch 是 latent variable 能否捕捉未来不确定性的核心测试。

CLEVRER. 合成碰撞物体视频，每个 video 5 seconds、128 frames、原始 resolution $480\times 320$；实验 reshape 到 $64\times 64$，使用 official train/validation splits，并过滤掉 target clip $y$ 中出现新物体的 input-target pairs，使任务尽量 deterministic。默认训练取 6 consecutive input frames，预测后续 20 frames。

CATER. 基于 CLEVR 的 spatiotemporal reasoning dataset，每个 video 有 300 frames、24 fps、resolution $320\times 240$，对象可执行 14 种 predetermined actions，且多个 actions 可同时出现。实验 reshape 到 $128\times 128$，按 8 fps subsampling，使用 max2action version（每个 time segment 只有 2 个 moving objects）和官方 train/validation splits。默认训练 50 input frames，预测后续 50 target frames。

Baselines, metrics, and evaluation protocol

主要 baseline 是 generative model，它与 VJ-VCR 共享 encoder、predictor、latent、decoder 等 building blocks，但训练目标是 pixel-space reconstruction。对照包括四种能量组合：VJ-VCR w/o Decoder、VJ-VCR with Decoder、Generative with VCR、Generative w/o VCR。这样可以分别观察 hidden-space prediction、pixel-space loss、VCR regularization 对 downstream representation 的影响。

评价指标包括四类。第一，speed probing：冻结预训练 encoder/predictor，用 linear regression 从 ${\tilde{h}}_y$ 预测 MovingMNIST digit speed 或 CLEVRER 最后 target frame 中最快物体的 speed，报告 MSE，越低越好。第二，PSNR：只在能 decode pixels 的模型上衡量 reconstruction quality，越高越好。第三，RankMe：估计 hidden representations 的 effective rank，用来分析 dimensional collapse；越高通常表示表示维度利用更充分，但论文也提醒它不必然与 probing MSE 完全一致。第四，latent probing：MovingMNIST 中从 inferred $z^{\ast }$ 预测 trajectory switch $\psi$ 和 digit identity；CATER 中从 inferred $z^{\ast }$ 预测 target frames 中的 aggregate actions $a_y$，用 mAP 衡量。

Architecture, hardware, and training config

MovingMNIST 使用 5-layer CNN encoder（batch norm + ReLU；3 spatial conv + 2 temporal conv + average pooling）和 2-hidden-layer MLP predictor。CLEVRER/CATER 使用 SimVP encoder 与 Swin Transformer predictor。所有 decoder 的 architecture mirror encoder；decoder 可以与系统一起训练，也可以在 frozen encoder/predictor 上训练。

硬件与实现：论文声明使用 PyTorch codebase OpenSTL，在 one NVIDIA RTX 8000 GPU card 上训练，所有实验运行时间小于 48 hours。注意，paper-specific VJ-VCR config 没有在 OpenSTL 当前 public repo 中找到，以下数字来自论文 Appendix B，而不是 generic repository defaults。

训练细节如下。MovingMNIST 训练 100 epochs，按 validation self-supervised loss 选 best model；VJ-VCR 与 generative model 都使用 Adam、learning rate $1\mathrm{e}-3$、batch size 256。deterministic setting 是 3→12 frames；non-deterministic setting 是 3→3 frames。Generative baseline 使用 weight decay $1\mathrm{e}-6$。MovingMNIST VJ-VCR 的 $\alpha =0.5,\beta =0.1$；generative baseline 如果使用 VCR，也取 $0.5,0.1$。

CLEVRER/CATER 最多训练 20 epochs，同样按 validation self-supervised loss 选 best model。两者都用 Adam、learning rate $1\mathrm{e}-3$。CLEVRER batch size 256，训练时随机选 6 consecutive input frames，预测 20 frames；VJ-VCR 的 $\alpha =1,\beta =0.1$。CATER batch size 160，50→50 frames，24 fps subsample 到 8 fps；VJ-VCR 的 $\alpha =1,\beta =0.4$。Speed probing 的 linear regression 用 MSE loss、Adam、learning rate $1\mathrm{e}-3$、batch size 256；CLEVRER generative-based probing 例外使用 learning rate $1\mathrm{e}-4$。CATER action recognition linear classifier 使用 BCEWithLogitsLoss、Adam、learning rate $5\mathrm{e}-4$、batch size 160。

5. Experimental Results (实验结果)

Main deterministic results: speed probing beats pixel reconstruction

Model	Loss($h_y$)	Loss($y$)	VCR	MovingMNIST MSE in $v$ ↓	MovingMNIST PSNR ↑	CLEVRER MSE in $v$ ↓	CLEVRER RankMe ↑
VJ-VCR w/o Decoder	✓	✗	✓	0.04	19.5	0.19	423.7
VJ-VCR with Decoder	✓	✓	✓	0.04	21.2	0.19	359.8
Generative with VCR	✗	✓	✓	0.10	22.9	0.22	427.4
Generative w/o VCR	✗	✓	✗	0.15	22.8	0.23	160.2

这个表是论文最关键的证据。MovingMNIST 上，两个 VJ-VCR 模型都达到最低 speed probing MSE 0.04；纯 generative with VCR 是 0.10，没有 VCR 的 generative 是 0.15。也就是说，hidden-space prediction 对速度信息更友好，即使 PSNR 更低。VJ-VCR w/o Decoder 的 PSNR 只有 19.5，说明 hidden representation 可能丢掉了部分像素细节；但这不妨碍它对 speed probing 最好。VJ-VCR with Decoder 的 PSNR 提升到 21.2，同时 MSE 保持 0.04，说明在某些应用中可以加 reconstruction term 来保留可视化能力，而不会牺牲动态信息。

CLEVRER 上结论相似：VJ-VCR 两个版本的 speed probing MSE 都是 0.19，优于 generative with VCR 的 0.22 和 generative w/o VCR 的 0.23。RankMe 结果更微妙：Generative with VCR 的 RankMe 427.4 略高于 VJ-VCR w/o Decoder 的 423.7，但 speed probing 仍然更差；VJ-VCR with Decoder 的 RankMe 降到 359.8，但 MSE 没变。作者据此说明 effective rank 是 collapse/信息量的辅助视角，但下游动态可读性仍要通过 task-specific probe 判断。Generative w/o VCR 的 RankMe 160.2 明显最低，是 VCR 避免 dimensional collapse 的直接证据之一。

Figure 2 解读：CATER 的评估不是从 hidden state 预测速度，而是从 inferred latent $z^{\ast }$ 预测 target frames 中的 action set。VJ-VCR 的 mAP 是 67.4%，generative baseline 是 54.8%，random latent linear classifier 是 39.6%。正文写 VJ-VCR outperform generative by 13.6%，但按报告数值直接相减是 12.6 percentage points；读者应理解为论文文本中的 improvement 描述与图中数值存在轻微算术不一致。两个模型 3 个 random seeds 的标准差都小于 $2\times 10^{-2}$。

Non-deterministic results: latent variable captures future uncertainty

Latent Type	$z^{\ast }\to \psi$	$z^{\ast }\to$ digit
discrete one-hot vector of dimension 5	79.7%	11.4%
sparse: high (80%) sparsity	94.7%	31.6%
sparse: low (20%) sparsity	99.5%	57.6%

MovingMNIST stochastic setting 的目标是看 latent $z^{\ast }$ 是否主要包含 trajectory switch $\psi$，而不是静态 digit identity。Discrete one-hot latent 的 switch prediction accuracy 是 79.7%，digit identity 只有 11.4%，接近随机，说明它更像一个未来分支选择器。Sparse latent 的 switch accuracy 更高：80% sparsity 时 94.7%，20% sparsity 时 99.5%；但低 sparsity 也让 digit identity leakage 上升到 57.6%。这揭示了一个 trade-off：latent capacity 越大，越能编码随机 future，也越可能把静态信息混入 $z$。作者把“如何只约束 latent 表示 stochastic information 而不泄漏 static information”列为未来方向。

Figure 3 解读：上半部分是带 latent 的 VJ-VCR reconstruction，下半部分是不带 latent 的版本。每组图中前 3 列是 target frames，中间 3 列显示 ground truth 与 prediction 的 overlap，最后 3 列是 predicted target frames。不带 latent 时，模型无法知道数字会向哪个方向随机转弯，因此会把多个可能轨迹叠在一起；带 latent 时，$z$ 选择了一个具体 future branch，prediction 与实际 switch 对齐。这张图直观展示了 latent variable 在 JEPA 框架中不是为了生成更清晰像素，而是为了表达不可由过去决定的未来选择。

Representation information analysis: SVD and dimensional collapse

Figure 4 解读：左图比较 CATER validation hidden representations 的 singular values distribution；右图比较 cumulative explained variance。若少数 singular values 支配全部方差，表示空间就接近低维 collapse。VJ-VCR 在训练末期的 singular values 更均匀，cumulative curve 上升更慢，说明同样数量的主成分解释的方差更少、表示维度利用更充分。Generative model 也会在训练后改善，但更容易集中在少数方向。这个分析支持 VCR 的作用：它不只是提升 downstream probe，而是在 representation geometry 上减少 dimensional collapse。

Figure 5 解读：Appendix visualization 比较 generative reconstruction-only model（左）与同时使用 hidden prediction、pixel reconstruction 和 VCR 的 VJ-VCR（右）。左侧 PSNR 是 22.8，右侧 PSNR 是 21.2；但右侧 hidden representations 对 speed probing 更好。这个 appendix figure 强化了主表结论：像素级更清晰不代表动态因素更可读。对于阅读这篇论文，最重要的是不要把 PSNR 当成 representation learning 的唯一 proxy。

Ablation interpretation, limitations, and conclusion

从 ablation 角度看，Table 1 同时拆开了三个因素。第一，hidden-space prediction 是速度 probing 的主要来源；两个包含 Loss($h_y$) 的模型都达到 0.04/0.19。第二，VCR 显著改善 generative baseline 的 RankMe：160.2 提升到 427.4，也改善 MovingMNIST speed MSE：0.15 降到 0.10。第三，pixel reconstruction loss 可以改善可视化质量：VJ-VCR 加 decoder 后 PSNR 从 19.5 到 21.2，但它也可能降低 RankMe（423.7 到 359.8），说明 reconstruction term 与高维表示利用之间可能存在张力。

论文明确的 limitations 有三点。第一，实验主要在相对小型和合成的数据集上完成：MovingMNIST、CLEVRER、CATER；作者相信方法可推广到更大更真实数据，但没有在真实复杂视频上证明。第二，VCR 只加在 encoder top layer，未来可以研究多层 regularization 是否进一步提升表示。第三，latent variable 的设计还不完美：sparse latent 容易泄漏 digit identity，CATER 上 VJ-VCR 虽然优于 generative baseline，但作者仍认为还可以探索更好的 latent incorporation method。

总体结论是：VJ-VCR 为 video JEPA 提供了一个简单但关键的 collapse prevention 方案，并表明 hidden-space prediction 更适合学习高层视频动态。与 generative baseline 相比，它牺牲部分像素重建细节，却在 speed probing、CATER action recognition 和 representation geometry 上展现更强的抽象动态表示能力。对 world model 方向而言，这篇论文的价值在于把“预测抽象未来状态而非生成像素未来”具体化为可训练目标，并用 VCR 解决 JEPA 的 collapse 风险；但它仍是合成视频上的验证，距离大规模真实世界视频表示还有明显外推风险。