Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models

Paper: arXiv:2605.06388 Code: chandar-lab/semantic-wm Code reference: main @ 3ebaff23 (2026-05-12)

1. Motivation (研究动机)

这篇论文问的是一个很具体、但对 robotic world model 很关键的问题：当 action-conditioned video world model 采用 Latent Diffusion Model (LDM) 时，应该在什么样的 latent space 里建模 dynamics？传统视频 LDM 通常默认使用 VAE / autoencoder latent，因为它们重建图像稳定、解码器可靠；但机器人控制并不只关心“下一帧像不像”，还关心 latent 是否保留动作导致的物体位姿、接触、夹爪运动、任务进度与可规划性。

当前方法的核心瓶颈是：visual reconstruction quality 经常被当成 world model quality 的代理指标，但对于机器人策略评估可能是误导性的。一个模型可以生成 SSIM/LPIPS 看起来不错的帧，却把动作差异、接触状态或任务成功/失败边界抹掉；反过来，语义表征可能牺牲部分像素细节，但更容易让 transition model 维护 action-relevant structure。因此，仅用 FID/SSIM/LPIPS 评价 world model，不能回答“这个模型能否替代真实环境去评估/改进 policy”。

论文的目标是把“latent choice”从经验偏好变成受控实验：固定 dataset、history length、action conditioning、DiT transition architecture、optimizer 和 training schedule，只改变 encoder-defined latent interface，即 encoder $f_{ϕ}$ 、可选 adapter $α_{ψ}$ 、decoder path。这样可以隔离 reconstruction-aligned latents 与 semantics-aligned latents 对 robotic world model 的影响。

这个问题值得研究，因为如果 semantic latent space 确实更适合 policy-facing world model，那么后续机器人世界模型不应只沿着更强的 pixel autoencoder 或更大 video generator 去扩展，而应该把 latent representation 设计为 action-controllable、task-informative、visually decodable、planning-useful 的多目标接口。论文最终给出的经验结论是：semantic latents 通常比 reconstruction latents 更适合 policy evaluation 和 planning，即使 reconstruction latents 在某些 pixel-level 指标上持平或更好。

2. Idea (核心思想)

核心洞见：对机器人 world model 来说，“好的 latent space”不是最会重建图像的 latent，而是最能让 action-conditioned transition model 保留任务相关因果结构的 latent。论文把 latent 的 usefulness 分成三条轴：visual fidelity、latent/action recoverability、policy/planning performance，并证明这三条轴并不等价。

关键创新不是提出一个全新的 encoder，而是做了一个受控评测框架：同一个 DiT latent transition model 在 Bridge V2 上从头训练，分别接入 VAE/VA-VAE/Cosmos 这类 reconstruction-aligned latent，以及 V-JEPA 2.1/Web-DINO/SigLIP 2 这类 semantics-aligned latent；对于高维 semantic latent，再测试原生高维 latent 与 S-VAE adapter 压缩到 $d = 96$ 的版本。这样可以直接比较 latent representation 本身对 robotic dynamics modeling 的作用。

与典型 LDM 选择 VAE latent 的做法不同，本文不把“decoder reconstruction ceiling”当作最终目标；它更接近 DINO-WM / V-JEPA-style semantic world model 的思路，但仍保留 LDM/DiT 的 action-conditioned video generation 形态。因此它回答的是：在同一个 latent diffusion world model 框架内，semantic representation 是否比 reconstruction representation 更适合机器人控制。

3. Method (方法)

3.1 Overall framework：固定 transition，只替换 latent interface

Figure 1 解读：这张图是论文最重要的控制变量设计。左侧 history frames 经过 frozen encoder $f_{ϕ}$ ，semantic encoder 可再通过 adapter 从原始维度 $D$ 压缩到 $d$ ；中间的 DiT latent diffusion 负责在 latent space 里用 action $a_{0 : t}$ （论文设置中训练时不使用 language conditioning）预测未来 latent；右侧 decoder 只负责把 latent rollout 显示成像素帧。底部的候选 latent representations 明确分成 VAE-like reconstruction encoders 与 representation encoders，论文真正比较的是“latent interface”，而不是换 transition backbone 或换数据。

形式化地，数据为 $D = {(o_{0 : T}, a_{0 : T - 1}, ℓ, y)},$ 其中 $o_{t}$ 是 RGB observation， $a_{t} \in R^{d_{a}}$ 是连续机器人动作， $ℓ$ 是语言指令， $y$ 是 episode success label。目标 predictive distribution 是 $p (o_{t + 1 : t + K} ∣ o_{t - H : t}, a_{t - H : t + K - 1}) .$ 论文在 latent space 中建模这一分布： $z_{t} = f_{ϕ} (o_{t}), \tilde{z}_{t} = α_{ψ} (z_{t}),$ 并训练 transition model $p_{θ} (\tilde{z}_{t + 1 : t + K} ∣ \tilde{z}_{t - H : t}, a_{t - H : t + K - 1}) .$ 预测 latent 再由 decoder 映射回像素： $\overset{o}{^}_{t + 1 : t + K} = Dec (\tilde{z}_{t + 1 : t + K}) .$ 直觉上，decoder 只是把 world model 的内部状态可视化；如果 latent dynamics 已经丢失动作结构，即使 decoder 生成了漂亮图片，也不能支持 policy evaluation。反过来，如果 semantic latent 把动作相关几何结构变得线性可读，transition model 更容易学习“动作如何改变状态”，policy-in-the-loop 指标也更可能改善。

3.2 Latent spaces：reconstruction-aligned vs semantics-aligned

论文比较两类 frozen encoder：

Reconstruction-aligned encoders：SD3 VAE ( $D = 16$ )、VA-VAE ( $D = 32$ )、Cosmos CI encoder ( $D = 16$ )。这些 latent 主要为 pixel reconstruction/decoding 服务，adapter 为 identity，即 $α_{ψ} \equiv I$ 。
Semantics-aligned encoders：V-JEPA 2.1 ViT-L ( $D = 1024$ )、Web-DINO ViT-L / WebSSL ( $D = 1024$ )、SigLIP 2 ViT-L ( $D = 1152$ )。它们本身来自 representation learning / vision-language pretraining，不以像素重建为唯一目标。
Optional S-VAE adapter：对 semantic encoders，论文同时测试 native high-dimensional latents 与 compact latents。S-VAE adapter 把 $D \to d$ ，其中 $d = 96$ ，并配套一个 lightweight pixel decoder。

Adapter 的训练目标是既保留 semantic feature fidelity，又让 compact latent 可解码到像素： $L_{adapter} = semantic reconstruction L_{MSE} (z, \overset{z}{^}) + λ_{cos} L_{cos} (z, \overset{z}{^}) + λ_{spec} L_{FFT} (z, \overset{z}{^}) + λ_{KL} D_{KL} (q_{ψ} (\tilde{z} ∣ z) ∥ N (0, I)) + λ_{pix} L_{pix} (o, \overset{o}{^}) .$ 其中 $L_{cos} = 1 - cos (z, \overset{z}{^})$ ， $L_{FFT}$ 是沿 spatial-token axis 的 1-D FFT magnitude $ℓ_{1}$ loss，pixel loss 包含 MSE、LPIPS 与 $1 - MS - SSIM$ 。论文采用 $λ_{spec} = 0.01$ ，adapter 训练中 $λ_{KL}$ 在前 20% optimizer steps 线性 warmup 到 $1 0^{- 4}$ ， $λ_{cos} = 1$ ， $λ_{pix} = 1$ 。

3.3 DiT transition model 与 flow matching objective

所有 transition models 都是 DiT，训练于 Bridge V2，使用 flow matching。每个 DiT layer 把 attention 分解为 frame 内 spatial block 与跨时间 causal temporal block。论文设置为每隔一帧采样， $T = 10$ frames， $H = 2$ history frames，预测 8 个 future frames；训练 DiT 时不使用 language instruction conditioning。推理时模型用 10-frame sliding context autoregressively rollout。

对于 future frame $i \in {H, \dots, T - 1}$ ，采样 $τ_{i} \sim p (τ)$ 与 $ϵ_{i} \sim N (0, I)$ ，在 data latent 与 noise 之间线性插值： $\tilde{z}_{τ_{i}, i} = (1 - τ_{i}) \tilde{z}_{i} + τ_{i} ϵ_{i} .$ DiT 预测 velocity field： $v_{θ} (\tilde{z}_{τ}, τ, a_{0 : T - 1}, ℓ),$ 目标 velocity 为： $u_{i} = ϵ_{i} - \tilde{z}_{i} .$ 因此训练损失是： $L_{FM} = E_{\tilde{z}, ϵ, τ} [\sum_{i = H}^{T - 1} ∥ v_{θ} (\tilde{z}_{τ, i}, τ_{i}, a_{0 : T - 1}, ℓ) - (ϵ_{i} - \tilde{z}_{i}) ∥_{2}^{2}] .$ 历史帧作为 clean context，不作为 prediction target；论文还对 history latent 加小 Gaussian augmentation，降低模型对完美 teacher-forced context 的过拟合。

一个重要工程细节是 token 数被控制住：DiT-L 使用 24 layers、hidden size 1024、16 heads；VAE latent 为 $32 \times 32 \times 16$ 且 patch size $p = 2$ ，semantic/Cosmos/VA-VAE 使用 $16 \times 16$ token grid 且 $p = 1$ ，所以所有模型每帧 token 数都是： $N = (h / p) (w / p) = 16 \cdot 16 = 256.$ 这解释了为什么 high-dimensional semantic latent 不会显著增加 DiT block compute：Transformer 主体看到的 token count 与 hidden width 不变，latent channel dimension 主要影响 input/output projections。对于 native high-dimensional semantic latents，论文使用 shallow-wide DDT head：backbone 不变，readout width 为 2048，给 final patch prediction 层前增加轻量 spatial refinement。

3.4 Evaluation suite：三条轴而不是单一 pixel metric

Figure 2 解读：这张图把 encoder latent 诱导出的 action trajectory geometry 投影到与真实动作最相关的 top-2 canonical-correlation directions。VAE 与 V-JEPA 的轨迹形状不同，说明 latent space 本身会改变动作变化是否“显式可读”。这也是论文后续使用 IDM Pearson $r$ 、CEM error、success probe 的动机：要测 latent 是否保留控制相关结构，而不是只看像素。

论文的 evaluation 被设计成三组：

Latent representation quality：训练 Inverse Dynamics Model (IDM)，从 encoder latent pairs $(z_{t}, z_{t + k})$ 预测 action chunk $\overset{a}{^}_{t : t + k - 1}$ ，评估 $k \in {1, 4}$ 的 Pearson $r$ ；再训练 success classifier，从 SOAR latent trajectory 与语言指令预测 success/failure。
Pixel fidelity and scene geometry：报告 PSNR、SSIM、LPIPS、FID、FVD、temporal LPIPS、PCK coverage，以及 World Arena 风格的 image/aesthetic/subject consistency/depth/motion scores。
Planning and policy performance：用 CEM 在 latent model 中优化 action，报告 one-step / multi-step controllability error；把 Open-VLA policy rollout 放进 world model，用多个 VLM 判断 success，并测试 OOD distractor 与 OOD instruction robustness。

Figure 3a–3c 解读：三个子图共同说明 latent choice 的 trade-off。Figure 3a 中 semantic encoders 在 action recoverability、task-success separability、CEM planning error 上更有利；Figure 3b 说明 low-level visual fidelity 与 downstream performance 不是同一个方向；Figure 3c 则显示 policy-in-the-loop 与 OOD robustness 更偏向 semantic latents。这个图是论文结论的压缩版：视觉质量是必要但不充分的，latent dynamics 的 action/task structure 更关键。

3.5 Implementation-grounded pseudocode

下面伪代码按 released code main@3ebaff23 的结构重写，不是直接照搬论文公式；代码参考以 main@3ebaff23 为准。

3.5.1 Encoder + optional adapter latent interface

import torch
 
@torch.no_grad()
def encode_latent(autoencoder, adapter, video, use_adapter: bool):
    # video: [B, T, C, H, W] from Bridge V2 clips
    z = autoencoder.encode(video)              # frozen encoder f_phi(o_t)
    if use_adapter:
        z_tilde = adapter.encode(z)            # S-VAE / MLP / identity adapter alpha_psi(z)
    else:
        z_tilde = z
    return z, z_tilde

3.5.2 Flow-matching DiT world-model update

import torch
import torch.nn.functional as F
 
def flow_matching_loss(model, latents, actions, num_history, sample_t):
    # latents: [B, T, H, W, C] after encoder/adapter
    history = latents[:, :num_history]
    future = latents[:, num_history:]
 
    # Code path: src/training/diffusion.py::FlowMatching.loss_fn
    t_future = sample_t(future.shape[0], future.shape[1], future.dtype, future.device)
    noise = torch.randn_like(future)
    x_t_future = torch.lerp(future, noise, t_future.view(future.shape[0], future.shape[1], 1, 1, 1))
 
    # History frames are clean context; code may add small history_aug during training.
    x_t = torch.cat([history, x_t_future], dim=1)
    t_history = torch.zeros(latents.shape[0], num_history, dtype=latents.dtype, device=latents.device)
    t = torch.cat([t_history, t_future], dim=1)
 
    pred_v = model(x_t, t, actions)
    target_v = noise - future
    return F.mse_loss(pred_v[:, num_history:], target_v)

3.5.3 DiT forward pass with action conditioning

import torch
 
class ActionConditionedDiT(torch.nn.Module):
    def forward(self, x_t, t, action):
        # Code path: src/models/model.py::DiT.forward
        x = self.patchify(x_t)                         # Conv2d patch projection per frame
        time_cond = self.timestep_mlp(self.timestep_embedding(t))
        action_cond = self.action_embedder(action)     # action dropout may replace action by null action
        cond = time_cond + action_cond
 
        for block in self.blocks:
            x = block(x, cond, num_views=self.num_views)  # spatial block + temporal block
 
        if self.wide_head:
            head_cond = self.s_projector(torch.nn.functional.silu(x + time_cond[:, :, None, None]))
            x = self.head_final_layer(head_cond, head_cond.mean(dim=(2, 3)))
        else:
            x = self.final_layer(x, cond)
        return self.unpatchify(x)

3.5.4 IDM / success-probe evaluation logic

import torch
 
@torch.no_grad()
def evaluate_latent_action_structure(idm, success_probe, encoder, world_model, batch):
    obs, actions, instruction, success = batch
    z_real = encoder.encode(obs)
    z_world = world_model.rollout(z_real[:, :2], actions)  # H=2 context in paper setup
 
    pred_action_real = idm(z_real)
    pred_action_world = idm(z_world)
    idm_r_real = pearson_r(pred_action_real, actions)
    idm_r_world = pearson_r(pred_action_world, actions)
 
    success_logits_real = success_probe(z_real, instruction)
    success_logits_world = success_probe(z_world, instruction)
    return {
        "idm_real": idm_r_real,
        "idm_world": idm_r_world,
        "success_real_acc": accuracy(success_logits_real, success),
        "success_world_acc": accuracy(success_logits_world, success),
    }

Code reference: main @ 3ebaff23 (2026-05-12) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
DiT latent transition model	`src/models/model.py`	`DiT`, `Block`, `DiTBlock`, `Attention`, `FinalLayer`
Flow matching / DDPM diffusion objective	`src/training/diffusion.py`	`FlowMatching.loss_fn`, `Diffusion.loss_fn`, `generate`
World-model training loop	`src/training/train.py`	`train_wm`, `create_autoencoder`, `create_adapter`, EMA/checkpoint utilities
S-VAE / MLP / identity adapter	`src/models/adapters.py`	`SVAEAdapter`, `MLPAdapter`, `IdentityAdapter`, `kl_divergence`, `create_adapter`
Frozen encoder abstraction	`src/models/base_autoencoder.py`, `src/models/encoders/*`	`BaseAutoencoder`, `encoder_config_from_args`, `create_autoencoder`
Pixel decoder for semantic latents	`src/models/pixel_decoder.py`	LDM-style decoder modules used by adapter validation/eval
IDM / latent controllability evaluation	`src/evaluation/controllability.py`, `src/evaluation/probe.py`	action-recovery and success-probe evaluators
Visual / policy evaluation	`src/evaluation/evaluate.py`, `src/evaluation/metrics.py`	reconstruction ceilings, rollout metrics, plots
Launch configuration	`src/launch.py`, `src/launch_adapter.py`, `src/launch_eval.py`	CLI args for DiT/adapters/evaluation

论文公式与 released code 实现差异：论文正文/附录说明 Bridge V2 动作为 7 DoF，并且 world-model training 使用 7-dimensional actions；released code 的 src/launch.py 默认 --action_dim=10，src/launch_adapter.py 也默认 --action_dim=10。如果要复现实验，应显式传入 paper setting（例如 --action_dim 7），不能直接把 launch script 默认值当成论文配置。另一个差异是代码保留 ddpm 与 flow_matching 两条 objective path，而论文报告实验使用 flow matching；笔记中的伪代码按 FlowMatching 路径写。

4. Experimental Setup (实验设置)

4.1 Datasets and evaluation episodes

Bridge V2：主要 world-model 训练与评估数据集，论文描述为约 $60 K$ 条 WidowX 250 demonstrations，覆盖 13 个 task families。每个 episode 包含 RGB observations、7 DoF end-effector actions（position、rotation、gripper）和 language instruction。
SOAR：用于 trajectory success classifier，论文描述为约 $30.5 K$ 条 WidowX 250 success/failure class episodes，class split 约为 $1 : 2$ 。
Policy-facing/OOD evaluation subset：VLA/OOD 评估使用共享 task episodes；附录统计检验提到 20 shared task episodes，OOD distractor 设置从 10 个 task 中等比例按难度抽样，并用 ChatGPT Images 2.0 加入 distractor objects。

4.2 Baselines / compared latent interfaces

Family	Encoders / latent variants
Reconstruction-aligned	SD3 VAE ( $D = 16$ ), VA-VAE ( $D = 32$ ), Cosmos CI encoder ( $D = 16$ )
Semantics-aligned native	V-JEPA 2.1 ( $D = 1024$ ), Web-DINO / WebSSL ( $D = 1024$ ), SigLIP 2 ( $D = 1152$ )
Semantics-aligned compact	V-JEPA 2.1 $_{96}$ , Web-DINO $_{96}$ , SigLIP 2 $_{96}$ via S-VAE adapter
Model scale	DiT-S, DiT-B, DiT-L

4.3 Metrics

Axis	Metrics	Meaning
Visual fidelity	PSNR, SSIM, LPIPS, FID, FVD, t-LPIPS	图像/视频重建质量与 temporal consistency；PSNR/SSIM 越高越好，LPIPS/FID/FVD/t-LPIPS 越低越好
Geometry / motion	PCK coverage, depth AbsRel, dynamic degree, flow score	检查点跟踪、深度/运动质量，避免只看静态像素
Latent action structure	IDM Pearson $r$ at $k = 1, 4$	从 latent pair 预测 action chunk，越高表示 latent 更保留 action-relevant geometry
Task semantics	success classifier accuracy	latent trajectory 是否保留成功/失败可分性
Policy/planning	VLA success rate, Borda rank, OOD SR, CEM error	world model 是否能支持 Open-VLA rollout 评估、OOD robustness 与 action planning

4.4 Training configuration

论文报告的 world-model training 使用 Bridge V2 clips resized to $256 \times 256$ ， $T = 10$ frames， $H = 2$ history frames，frame skip 2，7-dimensional actions。单视角 runs 使用 4 H100 GPUs 的 DDP，DiT-S per-GPU batch size 16，DiT-L per-GPU batch size 5，bfloat16 autocast 和 torch.compile。Optimizer 是 AdamW，LR $1 0^{- 4}$ ，betas $(0.9, 0.99)$ ，weight decay $2 \times 1 0^{- 3}$ ， $ϵ = 1 0^{- 8}$ ，global grad clipping 1.0，EMA decay 0.9995；LR schedule 为 3 epochs linear warmup 后 cosine decay 到 base LR 的 $0.7$ ，总共 100 epochs。

Adapter training 中 encoder 全程 frozen；单视角 adapter 在 Bridge V2 上训练 200 epochs，per-GPU batch size 16，bfloat16 autocast。Optimizer 是 AdamW，betas $(0.9, 0.99)$ ，weight decay $1 0^{- 4}$ ；base adapter LR $1 0^{- 4}$ ，pixel decoder 联合训练时使用 $3 \times$ LR multiplier；multi-view adapter fine-tuning 使用 LR $5 \times 1 0^{- 5}$ 。LPIPS 启用时在 50k-sample perceptual warmup 后用 float32 计算。

DiT size presets：DiT-S hidden size 384、depth 12、heads 6；DiT-B hidden size 768、depth 12、heads 12；DiT-L hidden size 1024、depth 24、heads 16；head dim 均为 64。训练时间大致为 DiT-S 每个 run 6–7 小时（4 H100），DiT-L 约 34 小时，adapter/pixel-decoder 约 55 小时。

5. Experimental Results (实验结果)

5.1 Policy-facing metrics：semantic latents 优势最明显

Encoder	VLA SR↑	Borda rank↓	PCK↑	OOD distract.↑	OOD instr.↑	CEM k=1↓	CEM k=4↓
VAE	0.169	25	0.719	0.287	0.200	0.111	0.612
VA-VAE	0.175	23	0.715	0.250	0.200	0.097	0.543
Cosmos	0.244	16	0.707	0.362	0.275	0.112	0.661
V-JEPA 2.1	0.344	6	0.735	0.575	0.400	0.084	0.424
V-JEPA 2.1 $_{96}$	0.362	8	0.735	0.537	0.250	0.089	0.548
Web-DINO	0.212	21	0.735	0.512	0.250	0.090	0.474
Web-DINO $_{96}$	0.300	11	0.732	0.512	0.275	0.090	0.531
SigLIP 2	0.325	9	0.730	0.500	0.263	0.082	0.523
SigLIP 2 $_{96}$	0.331	15	0.731	0.588	0.312	0.086	0.537

最直接的结论是：semantic latent family 在 policy-facing metrics 上整体领先。V-JEPA 2.1 $_{96}$ 的 VLA SR 最高（0.362），SigLIP 2 的 one-step CEM error 最低（0.082），SigLIP 2 $_{96}$ 的 OOD distractor SR 最高（0.588）。相比之下，VAE/VA-VAE 虽然 reconstruction-friendly，但 VLA SR 只有 0.169/0.175，Borda rank 也更差。

Figure 4 解读：这张 qualitative comparison 展示同一 Open-VLA policy 在不同 world model rollout 中的成败差异。绿色/红色标记来自 InternVL 3.5 VLM 对轨迹成功与失败的判定。它直观说明 pixel rollout 看起来不一定完全崩坏，但 policy 是否完成任务仍会因 latent dynamics 是否保留 action/task structure 而变化。

统计检验也支持 family-level 结论：semantic encoders 相对 reconstruction encoders 在 VLA SR 上高 $+ 0.098$ ，95% paired bootstrap interval 为 $[0.025, 0.177]$ ，one-sided sign-flip test $p = 0.0129$ ；在 OOD SR 上高 $+ 0.136$ ，95% interval $[0.088, 0.184]$ ， $p < 5 \times 1 0^{- 5}$ ；在 CEM one-step error 上低 $0.0266$ ，interval $[- 0.0412, - 0.0122]$ ， $p = 0.00015$ 。

5.2 Visual fidelity 不是 downstream success 的充分条件

Encoder	SSIM↑	LPIPS↓	FID↓	FVD↓	t-LPIPS↓	JEPA sim.↑	Subject consist.↑
VAE	0.688	0.218	17.428	6.829	0.0264	0.871	0.810
VA-VAE	0.633	0.226	15.488	8.531	0.0253	0.783	0.817
Cosmos	0.608	0.245	16.947	8.195	0.0223	0.517	0.793
V-JEPA 2.1	0.725	0.176	6.771	5.459	0.0197	0.929	0.841
V-JEPA 2.1 $_{96}$	0.729	0.179	6.302	5.224	0.0212	0.928	0.841
Web-DINO	0.722	0.199	7.626	6.656	0.0234	0.938	0.849
Web-DINO $_{96}$	0.728	0.181	5.998	5.510	0.0195	0.944	0.841
SigLIP 2 $_{96}$	0.738	0.179	6.881	6.005	0.0223	0.938	0.843

这些数值反而削弱了“VAE 重建最好所以最适合 world model”的直觉。DiT-S 下，多个 semantic latent 在 SSIM、LPIPS、FID、FVD 上不差甚至更强；但论文的重点不是 semantic 一定在所有 visual metrics 上赢，而是 visual metrics 无法解释 policy-facing metrics。比如 VAE 的 pixel-level 指标可以接受，但 CEM、VLA SR、OOD SR 更弱。

Figure 5 解读：这张 rollout gap 曲线展示长 horizon 下 compounding error 如何逐步扩大。所有模型随 rollout step 增长都会出现 SSIM/LPIPS degradation，但 semantic latent（如 SigLIP 2、V-JEPA 2.1、Web-DINO）在超过训练时 10-frame horizon 后仍然更能保持若干 motion/semantic 指标。它支持论文关于“短期像素重建不足以预测长期 action-faithful rollout”的观点。

Figure 6 解读：这张图按 DiT size 分组展示 SSIM 等指标随模型规模变化的情况。扩大 DiT 可以缩小部分 visual/policy gap，尤其让 VAE/Cosmos 的视觉质量受益，但论文指出 action-centric gaps 没有完全消失：在 DiT-L 下，VAE 与 Cosmos 仍在 CEM、IDM $r$ 、success classifier 上落后于 semantic encoders。

5.3 Latent action recoverability：semantic latents 更容易恢复动作

Encoder	IDM Enc. $k = 1$ ↑	IDM Enc. $k = 4$ ↑	IDM WM $k = 1$ ↑	IDM WM $k = 4$ ↑	Success Enc.↑	Success WM↑
VAE	0.507	0.478	0.476	0.464	0.835	0.716
VA-VAE	0.549	0.744	0.545	0.719	0.868	0.744
Cosmos	0.626	0.673	0.581	0.651	0.851	0.723
V-JEPA 2.1	0.829	0.865	0.781	0.840	0.905	0.789
Web-DINO	0.820	0.845	0.729	0.794	0.906	0.788
SigLIP 2	0.772	0.793	0.697	0.757	0.903	0.823

IDM 结果是整篇论文最能解释 policy-facing gains 的证据：semantic latent 的 action-recovery Pearson $r$ 显著更高，且从 real encoder latent 到 generated WM latent 的 degradation 较可控。V-JEPA 2.1 在 IDM Enc./WM 的 $k = 1, 4$ 上都最高；SigLIP 2 在 generated latent success classifier 上最高（0.823）。这说明 semantic representation 不是只让图像看起来更好，而是让动作导致的状态变化在 latent geometry 中更可恢复。

5.4 Adapter / multi-view / qualitative robustness

Figure 7 解读：左图对比 native semantic latent 与 adapter-compressed latent，右图展示 single-view 与 multi-view 设置。adapter 往往改善高层 task completion / denoising 类指标，但可能伤害需要精细 action geometry 的 CEM/OOD/PCK 类指标；multi-view 可以改善几何与 controllability，但代价是单样本更重、batch size 更低、adapter fine-tuning 更复杂。

Figure 8 解读：这个 qualitative rollout comparison 展示多种 episode 上不同 latent interface 的生成帧。它帮助读者看到：一些失败并不是纯粹的低清晰度问题，而是 rollout 中物体状态、夹爪接触或任务进展偏离了真实动作意图。

Figure 9 解读：这组图展示 OOD distractor 与 OOD instruction 下的 failure cases。semantic latents 在 OOD SR 上普遍更强，说明它们不只是记住训练分布的外观，而是在一定程度上保留了任务与动作的抽象结构；不过 OOD instruction 仍显著更难，尤其对 adapter-compressed variants 会出现 fine-grained control 信息损失。

5.5 Compute and scaling

架构/compute 表说明 high-dimensional semantic latent 的代价没有直觉上那么大。以 DiT-L 为例，SD-VAE 总 GFLOPs/frame 为 1207.5，Cosmos 为 465.9，V-JEPA 2.1 native 为 901.7，V-JEPA 2.1 $_{96}$ 为 910.1，Web-DINO native 为 902.8，Web-DINO $_{96}$ 为 911.2，SigLIP 2 native 为 959.0，SigLIP 2 $_{96}$ 为 969.5。native semantic 与 adapter semantic 的 DiT GFLOPs 几乎相同，主要差异来自 frozen encoder/decoder，而不是 DiT backbone。

Scaling 的结论也比较细：DiT-L 会缩小 VAE/Cosmos 与 semantic latents 在 VLA success/OOD robustness 上的差距，因为更强 transition model 改善了视觉质量；但 action-centric 指标（CEM、IDM、success classifier）仍显示 reconstruction-aligned latents 落后。这意味着更大模型不能完全弥补 latent representation 的结构缺陷。

5.6 Limitations and takeaways

作者的结论可以概括为四点：

Visual fidelity does not imply downstream performance：pixel metrics 只能解释一部分；policy evaluation 需要 action/task-preserving latent dynamics。
Semantic latents are generally better for robotics world models：V-JEPA/Web-DINO/SigLIP 在 IDM、success probe、CEM、VLA/OOD 上整体更强。
Adapter is a trade-off, not free compression： $D \to 96$ 的 S-VAE adapter 降低 latent width 并支持 decoding，但可能压缩掉精细动作信息；什么时候用 native latent、什么时候用 compact latent，要看任务是偏 task completion 还是精细 planning。
Scope limitation：实验故意限制在固定 LDM/DiT 框架内，用来隔离 latent choice；论文没有声称 semantic latent diffusion 一定优于所有 non-diffusion semantic world models，也没有穷尽 per-encoder hyperparameter tuning。OOD 评估依赖 VLM scoring 与生成式 distractor construction，虽然做了 bootstrap/sign-flip 统计检验，仍应视为 policy-facing proxy，而非真实机器人闭环部署的最终证据。

Paper Notes

探索

Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models

Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall framework：固定 transition，只替换 latent interface

3.2 Latent spaces：reconstruction-aligned vs semantics-aligned

3.3 DiT transition model 与 flow matching objective

3.4 Evaluation suite：三条轴而不是单一 pixel metric

3.5 Implementation-grounded pseudocode

3.5.1 Encoder + optional adapter latent interface

3.5.2 Flow-matching DiT world-model update

3.5.3 DiT forward pass with action conditioning

3.5.4 IDM / success-probe evaluation logic

4. Experimental Setup (实验设置)

4.1 Datasets and evaluation episodes

4.2 Baselines / compared latent interfaces

4.3 Metrics

4.4 Training configuration

5. Experimental Results (实验结果)

5.1 Policy-facing metrics：semantic latents 优势最明显

5.2 Visual fidelity 不是 downstream success 的充分条件

5.3 Latent action recoverability：semantic latents 更容易恢复动作

5.4 Adapter / multi-view / qualitative robustness

5.5 Compute and scaling

5.6 Limitations and takeaways

目录