Latent Video Prediction Learns Better World Models

Paper: arXiv:2605.15618v1

1. Motivation (研究动机)

当前很多 self-supervised video models 已经被称作 world models，但论文指出它们的评估仍主要停留在 clean benchmark 的单一 Top-1 accuracy：这种分数无法说明模型是否真正具备部署型 world model 需要的性质，例如传感器噪声下的稳定性、遮挡或缺帧时的鲁棒性、对细粒度物理接触差异的判别能力，以及是否编码事件发生的时间方向。本文要解决的具体问题不是提出一个新 video encoder，而是系统比较不同 video self-supervised pretraining objective 是否会在 representation 层留下可测量的结构性差异。

作者选择四个 matched ViT-L capacity（约 $300 M$ 参数）的公开视频基础模型：V-JEPA 2.1、V-JEPA 2、VideoPrism、VideoMAEv2，统一冻结 backbone，用 lightweight attentive probe 读出，在 Something-Something v2 (SSv2) 上做五条 robustness / world-modeling 轴的评估。

这个问题值得研究的原因在于：如果 latent prediction 确实比 pixel reconstruction 或 contrastive+masked prediction 更能保留物理世界结构，那么它应该不仅在 clean classification 上有效，还应在 appearance corruption、occlusion、pretend-vs-real physical contact、time reversal 等条件下表现出一致优势。这样的证据能把“world model”从宣传性的 clean score 推向可操作的评估标准。

Figure 1 解读：雷达图总结了四类模型在多条 robustness 轴上的相对轮廓。核心信号不是某个单点分数，而是 V-JEPA 系列在 corruption、occlusion、fine-grained contact、temporal direction 上形成一致 profile；VideoPrism 常表现为 embedding 很稳定但 downstream decision 不稳定，VideoMAEv2 则更受 pixel-level perturbation 影响。

2. Idea (核心思想)

核心 insight：一个可用的视频 world model representation 不能只被 clean Top-1 accuracy 定义，而应看它在“世界状态被破坏或时间结构被改变”时如何退化；latent prediction 的优势应表现为有选择地保留语义和物理动态，而不是机械保持 embedding cosine similarity。

本文的关键创新是把 video SSL objective 的比较改写为五轴 evaluation framework：feature discriminability、corruption robustness、fine-grained pretend action discrimination、occlusion robustness、temporal direction sensitivity，并在统一模型容量、读出协议和 SSv2 数据分布下比较三类 pretraining paradigm。

与已有方法的根本差异：VideoMAEv2 的 masked pixel reconstruction 直接优化像素恢复，容易把容量用于 texture、lighting、background；VideoPrism 的 contrastive / video-text alignment 容易形成空间或语义稳定但不一定可判别的 embedding；V-JEPA 的 joint-embedding latent prediction 不预测像素，而预测 learned latent target，因此更可能保留对未来状态、接触关系、动作方向有用的抽象变量。

3. Method (方法)

3.1 Overall evaluation framework

作者固定 SSv2 作为主数据分布，因为它包含超过 $220, 000$ 个视频、174 个 fine-grained human-object interaction 类，天然包含方向相反、动作相似、pretend-vs-real 等 world-modeling probes。所有主实验比较的 frozen encoders 都使用 unified attentive probe；完整评估约消耗 $1, 000$ A100 GPU-hours。

评估轴	数据规模与目的
Feature Discriminability	30 类，每类 20 个视频，共 600 videos；按 different-verb、same-verb、pretend-vs-real 分层，测 representation separability。
Corruption Robustness	500 class-balanced videos；6 种 ImageNet-C corruption：motion blur、snow、pixelation、impulse noise、brightness、elastic transform；3 个 severity levels。
Fine-Grained Action Discrimination	1,992 test videos，22 个 pretending classes；测模型是否能辨别 simulated / failed physical interaction。
Occlusion Robustness	1,740 videos，覆盖 174 classes；Moving Block、Temporal Dropout、Spatiotemporal Patch Dropout，3 个 severity levels。
Temporal Robustness	1,740 videos，覆盖 174 classes；frame shuffling、reversal、static replacement、noise injection，测 temporal order 和 arrow-of-time。

模型设置表（论文 Table 1 / Table 2）：

Model	Training objective / regime
V-JEPA 2.1	Latent prediction；frozen encoder + unified attentive probe
V-JEPA 2	Latent prediction；frozen encoder + unified attentive probe
VideoPrism	Contrastive + mask prediction；frozen encoder + unified attentive probe
VideoMAEv2	Mask / pixel reconstruction；frozen encoder + unified attentive probe
V-JEPA 2	在 task-adapted baseline 对比中只训练 attentive probe
VideoMAE v1	在 SSv2 上 end-to-end fine-tuned
TimeSformer	在 SSv2 上 fully supervised

Figure 2 解读：左图比较 linear probe 与 kNN accuracy，右图比较三种语义难度类别的 mean pairwise Fisher ratio。V-JEPA 2.1 / V-JEPA 2 在 linear probe 上高于 VideoMAEv2 和 VideoPrism，说明 latent-prediction representation 对可学习线性读出更友好；VideoMAEv2 虽然有较高 Fisher ratio，但没有转化为更高分类 accuracy，说明 inter-class variance 不等于可用的 decision structure。

3.2 Corruption robustness：meaning over appearance

在 corruption 测试中，作者强调“稳定的 embedding 不等于有用的 embedding”。V-JEPA 2.1 在所有 severity level 上保持最高 Top-1 accuracy，并且在 6 种 corruption 中有 5 种的 severity-5 accuracy retention 最高。VideoPrism 的 cosine similarity 接近完美稳定，但分类 accuracy retention 最低，说明它保留了几何稳定性却丢失了 class-separating structure。

Figure 3 解读：左图是 corruption severity 从 clean 到 1/3/5 时的 Top-1 accuracy，右图是 clean-vs-corrupted feature cosine similarity。V-JEPA 的 accuracy 曲线退化最平滑；VideoPrism 的 cosine similarity 高但 accuracy 差，支持论文的主要判据：world model representation 应稳定保留 task-relevant semantics，而不是只追求 embedding 不动。

severity-5 per-corruption retention（论文 Figure 10 / Figure 11）：

Model	Brightness Acc/Cos	Elastic Acc/Cos	Impulse Acc/Cos	Motion Blur Acc/Cos	Pixelate Acc/Cos	Snow Acc/Cos
V-JEPA 2.1	95.9 / 98.2	0.6 / 64.8	84.4 / 81.1	97.3 / 98.1	87.9 / 94.7	86.1 / 80.4
V-JEPA 2	95.4 / 98.5	0.9 / 61.3	76.5 / 79.6	94.2 / 97.8	75.5 / 88.7	70.6 / 81.3
VideoPrism	33.6 / 98.7	45.7 / 99.2	41.4 / 97.6	71.5 / 99.5	58.6 / 99.4	44.8 / 97.0
VideoMAEv2	87.5 / 93.2	7.8 / 14.5	72.4 / 69.3	92.2 / 89.0	59.9 / 61.3	57.3 / 62.1

3.3 Pretend-vs-real：细粒度物理接触线索

Pretending subset 包含 1,992 个 test videos、22 个 fine-grained action classes。它的难点在于视觉外观、手势轨迹和 camera viewpoint 与真实动作近似相同，真正的判别信号往往是“没有发生接触”“物体没有形变”“液体没有流动”等细粒度 absence-of-contact cues。作者按 object size（small / medium / large）和 detail sensitivity（high / low）重分组，测试模型是否真正捕捉物理交互。

Figure 4 解读：V-JEPA variants 在 small/medium/large object size 和 high/low detail sensitivity 两种分组中都优于 VideoMAEv2。最反直觉的是 high-sensitivity classes 上 latent prediction 反而更强：这说明不重建像素并不等于丢失细节；V-JEPA 可能把接触是否真实发生压缩成对动作状态有用的 latent variable。

3.4 Occlusion robustness：缺失输入下的 useful stability

遮挡实验包含三种 paradigm：Moving Block 用灰色方块跨空间移动，隔离 spatial robustness；Temporal Dropout 用重复上一帧替换连续帧块，隔离 temporal robustness；Spatiotemporal Patch Dropout 将视频体素划分为 $(2, 16, 16)$ 的 3D cuboids 并按比例置零，最接近 V-JEPA pretraining 的 masked patches。

关键 metrics 来自论文 Appendix E.2。给定 clean 和 occluded embeddings $f_{i}^{c}, f_{i}^{o} \in R^{D}$ ，共 $N$ 个 clips： $RSI = \frac{1}{N} \sum_{i = 1}^{N} \frac{⟨ f _{i}^{c} , f _{i}^{o} ⟩}{∥ f _{i}^{c} ∥ ∥ f _{i}^{o} ∥}$ $CCR = \frac{1}{N} \sum_{i = 1}^{N} 1 [\overset{y}{^}_{kNN} (f_{i}^{c}) = \overset{y}{^}_{kNN} (f_{i}^{o})]$ $AUC (RSI) = \int_{0}^{s_{m a x}} RSI (s) d s$ 这里 kNN classifier 在 clean features 上拟合并在 occluded features 上复用，因此 CCR 衡量同一个 clip 是否仍被路由到同一邻域；RSI 只衡量 embedding cosine stability。

Figure 5 解读：上排是 RSI，下排是 Top-1 accuracy。V-JEPA 2.1 在三个遮挡 paradigm 中都保持最高或最有用的 downstream accuracy；VideoPrism 典型地保持高 RSI 却 accuracy 接近崩溃；VideoMAEv2 在 temporal dropout 和 patch dropout 下退化最快。这支持论文的区分：缺失输入鲁棒性主要来自 prediction target 在 latent space，而不是仅仅使用 masking。

遮挡设置与结果表：

Component	Setting
Dataset	SSv2 test split；1,740 clips；174 classes；16 frames per clip；random seed 42
Moving Block ratio $α$	${0.10, 0.30, 0.50}$ of $min (H, W)$
Temporal Dropout ratio $β$	${0.125, 0.375, 0.625}$ of $T$
Patch Dropout ratio $γ$	${0.10, 0.30, 0.50}$ of 3D cuboids
Attentive probe	depth 2；heads 8；MLP ratio 2.0
kNN probe	$k = 5$ ，cosine metric，standardised features

Model	Moving Block RSI slope	Temporal Dropout RSI slope	Patch Dropout RSI slope	Patch severity-5 CCR / Top-1
V-JEPA 2.1	-0.072	-0.047	-0.437	22.2 / 46.1
V-JEPA 2	-0.089	-0.088	-0.335	40.9 / 16.8
VideoPrism	-0.015	-0.020	-0.043	7.2 / 2.7
VideoMAEv2	-0.114	-0.329	-0.701	31.2 / 25.4

Figure 18 解读：该图展示三种遮挡随 severity 增强的可视化形式，帮助理解 $α, β, γ$ 三个参数分别改变空间块大小、连续缺帧比例和 3D patch dropout 比例。它说明本文不是只做随机噪声，而是在模拟空间遮挡、时间缺失和 spatiotemporal missing volume。

Figure 22 解读：Decoupling index 量化 $DI = E_{s} ∣ CCR (s) - RSI (s) ∣$ 的差异。VideoPrism 在 Patch Dropout 下 DI 最大，因为 RSI 接近 $0.98$ ，但 CCR 低于 $0.10$ ；这正是“embedding 稳定但决策不可用”的量化版本。

3.5 Temporal direction：arrow of time 是否在 latent space 中可见

视频反转保留每一帧和每个空间特征，只改变时间顺序，因此是测试模型是否编码 directionality 的干净 probe。论文定义 Directional Semantic Coherence Score： $DSCS = r_{sem} \times (1 - cos_{rev})$ 其中 $r_{sem}$ 是 reversal 后 prediction changes 落到 semantically antonymous class 的比例，例如 pushing $\to$ pulling； $(1 - cos_{rev})$ 是 reversal 诱导的 representation distance。高 DSCS 同时要求 representation 真的移动，且移动方向有语义结构。

Figure 6 解读：V-JEPA 2.1 / V-JEPA 2 的 semantic flip rate 分别为 4.55% / 3.53%，DSCS 为 0.0192 / 0.0209；VideoMAEv2 为 2.14%、0.0080，VideoPrism 为 1.35%、0.0021。VideoPrism 的 reversed cosine similarity 高达 0.848，却几乎没有方向语义；V-JEPA 的 temporal order 变化会导致更语义一致的 antonym flips。

Figure 30 解读：Temporal Dependency Index (TDI) 排序为 VideoPrism 0.17 < V-JEPA 2.1 0.51 < VideoMAEv2 0.64 < V-JEPA 2 0.68。作者的解释不是“TDI 越高越好”：VideoMAEv2 的高 TDI 部分来自 noise 下脆弱性，VideoPrism 的低 TDI 来自时间不敏感；V-JEPA 2.1 的位置更理想，因为它同时保持较高 accuracy 和中等 temporal grounding。

Figure 32 解读：该散点图把 accuracy drop 与 cosine similarity drop 放在一起，揭示 VideoPrism 聚集在“cosine drop 小但 accuracy drop 大”的区域，再次说明几何稳定性不是 world model 的充分条件。V-JEPA 的优势是让 latent space 在该变时改变、在不该变时保留决策相关结构。

3.6 Pseudocode and code status

代码搜索未找到开源实现。已检查 arXiv abstract/source 中无 GitHub/project URL，并用 web/GitHub 搜索 Latent Video Prediction Learns Better World Models github、作者名与标题组合、GitHub repo/code search，未发现公开实现；因此没有 github_ref，也不能建立 released code mapping table。下面 pseudocode 仅复现论文 evaluation protocol，不声称来自作者代码。

import torch
import torch.nn.functional as F
 
@torch.no_grad()
def encode_clip(encoder, video):
    # video: [B, T, C, H, W], frozen backbone
    features = encoder(video)
    return features.mean(dim=1) if features.ndim == 3 else features
 
 
def attentive_probe_train_step(encoder, probe, batch, optimizer):
    video, label = batch
    with torch.no_grad():
        z = encoder(video)
    logits = probe(z)
    loss = F.cross_entropy(logits, label)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    return loss.item()
 
 
@torch.no_grad()
def corruption_robustness(encoder, probe, clean_video, corrupt_fn, severities):
    clean_z = encode_clip(encoder, clean_video)
    out = {}
    for s in severities:
        x_s = corrupt_fn(clean_video, severity=s)
        z_s = encode_clip(encoder, x_s)
        logits = probe(z_s)
        acc = (logits.argmax(-1) == clean_video.labels).float().mean()
        cos = F.cosine_similarity(clean_z, z_s, dim=-1).mean()
        out[s] = {"top1": acc.item(), "cosine": cos.item()}
    return out
 
 
@torch.no_grad()
def occlusion_metrics(encoder, knn_predict, clean_video, occlude_fn, severity):
    z_clean = encode_clip(encoder, clean_video)
    z_occ = encode_clip(encoder, occlude_fn(clean_video, severity))
    rsi = F.cosine_similarity(z_clean, z_occ, dim=-1).mean()
    ccr = (knn_predict(z_clean) == knn_predict(z_occ)).float().mean()
    return {"RSI": rsi.item(), "CCR": ccr.item()}
 
 
@torch.no_grad()
def directional_semantic_coherence(encoder, probe, video, antonym_map):
    z = encode_clip(encoder, video)
    z_rev = encode_clip(encoder, torch.flip(video, dims=[1]))
    y = probe(z).argmax(-1)
    y_rev = probe(z_rev).argmax(-1)
    changed = y != y_rev
    semantic = torch.tensor([antonym_map.get(int(a)) == int(b) for a, b in zip(y, y_rev)])
    r_sem = (semantic & changed.cpu()).float().mean()
    cos_rev = F.cosine_similarity(z, z_rev, dim=-1).mean().cpu()
    return r_sem * (1.0 - cos_rev)

直觉上，上述 protocol 的关键不是重新训练 encoder，而是冻结不同 objective 训练出的 representation 后施加 controlled perturbation。这样可以把性能差异更多归因于 pretraining objective 本身：latent prediction 是否把未来状态、物理接触和方向性变成可读出的 latent variables，而不是被后续 fine-tuning 或 clean-task supervision 覆盖。

4. Experimental Setup (实验设置)

Datasets. 主数据集为 Something-Something v2：超过 $220, 000$ videos，174 个 fine-grained human-object interaction categories。具体评估子集为：feature discriminability 使用 600 videos（30 classes × 20 videos）；corruption robustness 使用 500 class-balanced videos；pretending subset 使用 1,992 test videos、22 classes；

occlusion 与 temporal robustness 各使用 1,740 videos、174 classes，均为 16 frames per clip。Models and baselines. Frozen encoder 主比较：V-JEPA 2.1、V-JEPA 2、VideoPrism、VideoMAEv2，均为 ViT-Large 级别约 $300 M$ 参数。模型详细属性（论文 Appendix Table 3）：V-JEPA 2.1 / V-JEPA 2 使用 $> 1 M$ hours internet video 预训练、objective 为 latent prediction、来源 Meta；

VideoPrism 使用 36M video + video-text pairs、objective 为 contrastive + masked prediction、来源 Google；VideoMAEv2 使用 UnlabeledHybrid public-set mix、objective 为 pixel reconstruction、来源 open-source。Task-adapted 对比：frozen V-JEPA 2 + attentive probe、SSv2 end-to-end fine-tuned VideoMAE v1、fully supervised TimeSformer。

Metrics. Feature discriminability 使用 linear probe accuracy、kNN accuracy、mean pairwise Fisher ratio；corruption 使用 Top-1 accuracy 与 clean-corrupted cosine similarity；pretend actions 使用按 object size / detail sensitivity 分组的 accuracy；occlusion 使用 RSI、CCR、AUC(RSI)、probe Top-1；

temporal 使用 semantic flip rate、DSCS、cosine similarity、TDI、static-frame / noise perturbation 下的 accuracy、confidence、entropy。Training / evaluation config. Encoders frozen，readout 使用 lightweight attentive probe；occlusion benchmark 的 probe depth=2、heads=8、MLP ratio=2.0；kNN probe 使用 $k = 5$ 、cosine metric、standardised features。

每个 clip 统一 sample 16 frames，occlusion benchmark random seed=42。作者说明完整 SSv2 评估使用 high-end NVIDIA A100，总计超过 $1, 000$ GPU-hours；attentive probe training 每个 encoder 约 $100$ A100 GPU-hours。论文未详细说明 optimizer、learning rate、batch size 等训练超参数。

Figure 7 解读：该图把 frozen V-JEPA 2 与 task-adapted baselines 放在同一 corruption / pretend / occlusion setting 下比较。结论是 V-JEPA 2 即使不 fine-tune backbone，也在 corruption 和 occlusion robustness 上领先；在 pretend subset 上接近 fine-tuned VideoMAE、明显优于 supervised TimeSformer，说明 latent-prediction pretraining 的结构性优势能 survive task adaptation comparison。

5. Experimental Results (实验结果)

Main results. 五条评估轴给出一致结论：latent-prediction models 形成稳定的 distinct profile。V-JEPA 2.1 在 corruption severity 全程保持最高 accuracy，并在 severity-5 的 6 个 corruption 中 5 个 accuracy retention 最高；在 occlusion 下 V-JEPA 2.1 的 downstream decision 最稳，Patch Dropout severity-5 时仍有 46.1% Top-1，而 VideoPrism 虽有很高 RSI，却只有 2.7% Top-1；

在 video reversal 中 V-JEPA 2.1 / V-JEPA 2 的 DSCS 为 0.0192 / 0.0209，显著高于 VideoMAEv2 0.0080 与 VideoPrism 0.0021。Ablations / diagnostic findings. 最重要的 ablation-like evidence 是 accuracy-vs-cosine decoupling：VideoPrism 的 representation 在 corruption 和 occlusion 下几何上稳定，但分类结构崩溃；VideoMAEv2 在 pixel-level corruption、temporal dropout 和 noise 下更脆弱；

V-JEPA 的 representation 会在输入变得语义相关时移动，但能保留 decision-relevant class structure。另一个关键诊断是 fine-grained pretend actions：latent prediction 在 high-sensitivity absence-of-contact classes 上优于 pixel reconstruction，反驳了“重建像素才保留细节”的直觉。

Task-adapted baseline comparison. 与 fully fine-tuned VideoMAE 和 fully supervised TimeSformer 相比，frozen V-JEPA 2 + attentive probe 在 corruption robustness 和 occlusion robustness 上仍领先；在 pretending action subset 上接近 fine-tuned VideoMAE，并明显超过 TimeSformer。

作者据此认为，优势主要来自 pretraining objective 塑造的 base representation，而不只是 probe 或 clean-task supervision。Limitations. 作者承认模型比较没有完全控制 pretraining data composition、data scale 和 training schedule；要彻底归因需要从零在相同 data/compute 下重训所有模型。论文的显式 Limitations section 没有展开更多内容；

可从实验设计看，结论主要适用于 SSv2-style human-object interaction 和所选公开 checkpoints，尚未覆盖 adversarial attacks、更多真实传感器失效、具身控制闭环或长时 horizon planning。Overall conclusion. 本文给出的经验结论是：latent video prediction 更像一个可用 world model backbone，因为它不是简单保持 embedding 不变，而是在 corruption、occlusion、细粒度物理接触和 temporal direction 改变时保留对下游决策有用的结构。

V-JEPA 系列的一致优势支持“在 learned latent space 中预测未来状态，比重建 pixels 更适合学习 robust world representations”。

Paper Notes

探索

Latent Video Prediction Learns Better World Models

Latent Video Prediction Learns Better World Models

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall evaluation framework

3.2 Corruption robustness：meaning over appearance

3.3 Pretend-vs-real：细粒度物理接触线索

3.4 Occlusion robustness：缺失输入下的 useful stability

3.5 Temporal direction：arrow of time 是否在 latent space 中可见

3.6 Pseudocode and code status

4. Experimental Setup (实验设置)

5. Experimental Results (实验结果)

目录