Value-guided action planning with JEPA world models

Paper: arXiv:2601.00844

1. Motivation (研究动机)

这篇论文要解决的是一个很具体的问题：JEPA world model 可以学习“给定当前状态和动作，未来状态在 latent space 中会到哪里”，但直接把“预测 latent 与目标 latent 的欧氏距离”当作 MPC 规划代价时，这个 latent space 不一定具有任务价值语义，因此规划优化容易被局部极小值、障碍物拓扑和短视距离误导。

现有 JEPA action planning 的基本做法是：用 state encoder 把观测图像编码成表示，用 action encoder 表示动作，再用 predictor 预测执行动作后的下一步 latent；规划时，用 model predictive control (MPC) 在候选动作序列上滚动预测，并最小化预测 latent 与 goal latent 的距离。这个框架的瓶颈不在“有没有动力学模型”，而在“用什么几何来定义到达目标的代价”。如果 state embedding 的距离只是自监督预测训练的副产物，那么两个状态在图像或短期预测上接近，并不等价于从一个状态到另一个状态容易到达。带墙门的 Wall 环境就是典型例子：门两侧在图像坐标上可能很近，但如果中间有墙，真正可达路径需要绕到门口；普通 latent distance 容易把“穿墙直线距离”误当成好路径。

论文希望把 reinforcement learning 中的 goal-conditioned value function 引入 JEPA 的表示学习：学习一个 state encoder，使得两个状态 embedding 之间的距离（或 quasi-distance）近似“从当前状态到目标状态的负 value”。这样，planning cost 不再只是 representation similarity，而是接近“还需要付出多少 reaching cost 才能到达目标”的几何代理。换句话说，latent space 被塑造成一个更适合控制的地形：距离小意味着预计到达代价低，距离大意味着预计需要更长或更难的路径。

这个问题值得研究有三点原因。第一，如果 JEPA 要成为 world model，不仅要预测，还要支持 action selection；仅能做短期 latent prediction 的模型还不能被认为真正会“用模型规划”。第二，value-shaped latent space 可以让 MPC 的有限 horizon 优化获得长程信息，相当于在局部 rollout 之外额外提供一个 terminal/value cost。第三，这种方法仍然保持 JEPA 的非生成式优势：不需要重建像素，也不需要在线奖励标注，而是从 offline random trajectories 中通过 IQL-style objective 学到 goal-reaching geometry。

论文的贡献范围也很清楚：它不是提出一个大型 foundation world model，而是在简单控制任务上验证一种表示塑形原则是否能提升 JEPA planning。实验环境包括带墙门的视觉导航和随机 Maze；模型输入是图像观测（Maze 还包含速度信息），动作是位移或速度命令，评估指标是随机起点—目标对上的 planning success rate。

2. Idea (核心思想)

核心 insight 是：在 JEPA 中用于 MPC 的 latent distance 应该近似 goal-conditioned value，而不是只服务于 self-supervised prediction。若把 $V_{\theta }(s,g)$ 定义为当前状态和目标状态 embedding 距离的负值，那么最小化 planning cost 就等价于沿着 learned value landscape 选择更可能到达目标的动作序列。

本文的关键创新不是“再训练一个 value head”，而是直接把 value function 写进 representation geometry： $V_{\theta }(s,g)=-\Vert {\mathcal{E}}_{\theta }(s)-{\mathcal{E}}_{\theta }(g){\Vert }_2$ 或把欧氏距离替换成 quasi-distance，以处理到达代价本身可能不对称的情况。训练时用 IQL/expectile regression 风格的 Bellman residual 约束 state encoder，使 embedding distance 近似 reaching cost 下的最优 goal-conditioned value。规划时仍然使用 JEPA predictor + MPC/MPPI，只是 cost 从普通 latent distance 换成 value-aware distance。

与标准 JEPA planning（如基于 ${\mathcal{L}}_{\text{VCReg}}$ 或 EMA 防坍塌的 prediction-only 表示）相比，本文的本质区别在于优化目标从“预测后一个 latent 要准确”转向“用于规划的 state geometry 要和可达性/value 对齐”。与纯 RL policy execution 相比，本文也不是直接学习一个策略，而是让 JEPA world model 的表示空间更适合后续 MPC，这使它仍然保留 model-based planning 的可解释滚动预测结构。

3. Method (方法)

3.1 Overall framework：value-shaped JEPA + MPC/MPPI

Figure 0 解读：这是笔记根据论文方法重画的结构示意图，论文原文没有单独的 architecture figure。上半部分是训练：state image 经过 state encoder ${\mathcal{E}}_{\theta }$ 得到 latent，IQL-style value-function loss 约束 $-d(z_s,z_g)$ 近似 goal-conditioned value。下半部分是 planning：JEPA predictor 用当前 latent 和候选动作预测未来 latent，MPC/MPPI 用 value-aware distance 到 goal latent 作为代价，对动作序列采样、重加权并执行第一步动作。

标准 JEPA world model 包含三个模块：state encoder、action encoder、predictor。state encoder 把观测状态 $s_t$ 映射到 latent $z_t$；action encoder 把动作 $a_t$ 映射成动作表示；predictor 接收 state/action 表示并预测下一状态 latent。论文实验中 action encoder 直接设为 identity，state/action 表示在进入 predictor 前被 concatenated，predictor 是 MLP，state encoder 是卷积加 residual connections 的简单架构。

本文没有把 value learning 做成一个额外 head，而是让 state encoder 本身承担 value geometry 的角色。对任何状态—目标对 $(s,g)$，定义 $V_{\theta }(s,g)$ 为 embedding distance 的负值。这样做有一个直觉优势：MPC 在滚动预测多个未来 latent 后，可以直接用“离 goal latent 还有多远”作为可微/可优化的 cost；如果这个距离已经被训练成 value proxy，就比普通 latent similarity 更能表达“绕过障碍、考虑长期可达性”的方向。

3.2 Baseline losses：contrastive、regressive、prediction-only JEPA

论文先定义几类 baseline。第一类是 contrastive baseline：把训练轨迹中的 successive states 当作 positive pairs，把随机状态对当作 negative pairs，用 ${\mathcal{L}}_{\text{contrastive}}$ 训练 state encoder，使相邻状态更近、随机状态更远。第二类是 regressive baseline：用 ${\mathcal{L}}_{\text{regressive}}$ 显式让 successive states 的距离接近 $1$，并配合 ${\mathcal{L}}_{\text{VCReg}}$ 防止表示坍塌。第三类是 prediction-only JEPA：使用 ${\mathcal{L}}_{\text{VCReg}}$ 或 EMA procedure 防坍塌，主要优化 JEPA prediction 目标，而不显式让 latent distance 对齐 value。

论文没有给出 contrastive/regressive loss 的完整数学展开，因此这里不能补写未说明的温度、margin 或采样细节。可以确定的是，这些 baseline 的共同弱点是“局部邻接”或“预测稳定性”不保证全局可达性：相邻状态近并不意味着跨障碍路径短，预测准确也不意味着规划 cost landscape 好优化。

3.3 IQL for JEPA：把 reaching value 写入 state embedding distance

令 ${\mathcal{S}}_0$ 为状态空间，$\theta$ 为 state encoder 参数，${\mathcal{E}}_{\theta }$ 为 JEPA state encoder。论文定义： $V_{\theta }(s,g)=-\Vert {\mathcal{E}}_{\theta }(s)-{\mathcal{E}}_{\theta }(g){\Vert }_2.$ 目标是使 $V_{\theta }$ 近似 reaching cost 下的最优 goal-conditioned value function $V^{\star }$。reaching cost 定义为： $C(s,a,g)=1_{s\ne g},$ 也就是只要还没到达目标，每个时间步都付出 $1$ 的代价。这样，负 value 越小或 embedding distance 越小，就表示预计越快到达目标。

给定长度为 $T$ 的训练轨迹 $(s_t{)}_{t\in [[0,T]]}$ 和 $N+1$ 个训练目标 $(g_n{)}_{n\in [[0,N]]}$，论文最小化 mean IQL loss： ${\mathcal{L}}_{\text{VF}}^{\theta }((s_t),(g_n))={\sum }_{n=0}^N{\sum }_{t=0}^{T-1}{L}_{\tau }^2\left(-1_{s_t\ne g_n}+\gamma V_{\bar{\theta }}(s_{t+1},g_n)-V_{\theta }(s_t,g_n)\right),$ 其中 $\bar{\theta }$ 表示 stop-gradient target，$\gamma ,\tau \in (0,1)$ 且接近 $1$；expectile term 为： $L_{\tau }^2(x)=|\tau -1_{x<0}|x^2.$ 这个式子可以理解为对 Bellman residual 做不对称二次回归。括号内部是一步 temporal-difference target：当前状态到目标的 value 应该接近“当前步 reaching cost 的负项 + 折扣后的下一状态 value”。因为 $V_{\theta }$ 被写成负距离，优化 residual 实际上是在移动 embedding，使得从 $s_t$ 到 $g_n$ 的几何距离表达从当前状态继续行动到目标的长期代价。

训练 goals 有两种来源：轨迹最后状态，以及从 training batch 中随机采样的 goals。前者直接对应“沿轨迹走到终点”的 reaching signal，后者增加目标覆盖范围，避免 state encoder 只会把每条轨迹内部的终点组织好。论文 Discussion 强调远距离 triplets 稀疏、discounted value 的梯度在远离目标处很小，因此 goal sampling 的覆盖度会直接影响 value geometry 的全局质量。

3.4 Quasi-distance：处理非对称 goal-reaching 代价

欧氏距离天然对称：$\Vert z_s-z_g{\Vert }_2=\Vert z_g-z_s{\Vert }_2$。但真实控制环境中的 goal-conditioned value 不一定对称：从 $s$ 到 $g$ 的代价可能不同于从 $g$ 到 $s$ 的代价，例如存在速度、惯性、单向动力学约束或障碍拓扑时。论文因此探索把 $V_{\theta }$ 中的 Euclidean distance 换成 quasi-distance，并采用 Wang et al. 提出的 generic quasimetric form。

论文没有展开 quasi-distance 的具体网络公式，所以笔记不能臆造其参数化细节；可以明确的是，VF_quasi 的训练目标仍是同一个 ${\mathcal{L}}_{\text{VF}}$，只是 $d(z_s,z_g)$ 从对称欧氏距离替换为更有表达力的 quasi-distance。实验中，VF_quasi 在 WS、WB、Maze 三个环境均取得最高 success rate，即使某些理论 value function 可能近似对称，quasi-distance 也似乎通过增加表示函数族表达力降低了训练难度。

3.5 两种训练方式：Sep 与 joint prediction

论文比较两种 JEPA 训练策略。第一种叫 “Sep”：先只用 ${\mathcal{L}}_{\text{VF}}$ 训练 state encoder，让 latent geometry 形成 value-aware structure；然后固定或使用该 state representation，再用 ${\mathcal{L}}_{\text{pred}}$ 训练 action encoder 和 predictor。第二种是 joint training：所有网络一起训练，目标是 ${\mathcal{L}}_{\text{VF}}+{\mathcal{L}}_{\text{pred}}$ 或相关组合。

实验结果显示，Sep 版本通常更好。直觉上，prediction loss 和 value geometry loss 不是完全同向：prediction loss 希望 latent 保存足够的短期动力学信息，value loss 希望 latent distance 按到达代价组织；如果强行把两个目标同时压到同一个 state encoder 上，可能会产生 representation compromise。论文还测试了一个“两个 representation spaces”的额外方案：一个空间用 pred_VCReg 做 prediction，另一个空间用 VF 做 planning cost；在 WS 上 planning accuracy 为 $0.60$，没有超过 VF 或 VF_quasi，因此作者没有把它作为主方案。

3.6 论文级 PyTorch-style pseudocode（无 released code）

代码搜索未找到开源实现。以下伪代码不是 released code 的逐行映射，而是严格按照论文给出的公式、训练流程和 MPPI/MPC 描述写成的 paper-level algorithm sketch。

import torch
import torch.nn.functional as F
 
 
def value_from_distance(encoder, states, goals, distance="euclidean"):
    z_s = encoder(states)
    z_g = encoder(goals)
    if distance == "euclidean":
        d = torch.linalg.vector_norm(z_s - z_g, dim=-1)
    elif distance == "quasimetric":
        d = quasimetric_distance(z_s, z_g)  # generic quasimetric form; paper does not expand it
    else:
        raise ValueError(distance)
    return -d
 
 
def expectile_loss(residual, tau):
    weight = torch.abs(tau - (residual < 0).float())
    return weight * residual.pow(2)
 
 
def vf_encoder_step(encoder, target_encoder, trajectories, goals, gamma=0.98, tau=0.80,
                    distance="euclidean"):
    # trajectories: [batch, T + 1, ...]
    s_t = trajectories[:, :-1]
    s_next = trajectories[:, 1:]
    # goals may combine final trajectory states and random states from the batch
    total = 0.0
    for g in goals:  # g: [batch, ...] or broadcastable goal batch
        v_curr = value_from_distance(encoder, s_t, g[:, None], distance=distance)
        with torch.no_grad():
            v_next = value_from_distance(target_encoder, s_next, g[:, None], distance=distance)
        residual = -1.0 + gamma * v_next - v_curr
        total = total + expectile_loss(residual, tau).mean()
    return total / len(goals)

 
def sep_train_value_guided_jepa(encoder, predictor, train_loader, optimizer_encoder,
                                optimizer_predictor, gamma, tau, distance):
    # Phase 1: shape state encoder geometry with the IQL-inspired value-function loss.
    for trajectories in train_loader:
        goals = [trajectories[:, -1], sample_random_goals_from_batch(trajectories)]
        loss_vf = vf_encoder_step(encoder, stop_gradient_copy(encoder), trajectories,
                                  goals, gamma=gamma, tau=tau, distance=distance)
        optimizer_encoder.zero_grad()
        loss_vf.backward()
        optimizer_encoder.step()
 
    # Phase 2: train the JEPA transition predictor on latent dynamics.
    for states, actions, next_states in make_segments(train_loader, segment_length=16):
        z_t = encoder(states).detach()
        z_next = encoder(next_states).detach()
        pred = predictor(torch.cat([z_t, actions], dim=-1))
        loss_pred = F.mse_loss(pred, z_next)  # paper names L_pred but does not specify exact metric
        optimizer_predictor.zero_grad()
        loss_pred.backward()
        optimizer_predictor.step()

 
def mppi_mpc_plan(encoder, predictor, current_state, goal_state, action_sampler,
                  horizon, num_perturbations, temperature, distance):
    z0 = encoder(current_state)
    z_goal = encoder(goal_state)
    action_sequences = action_sampler(num_perturbations, horizon)
    costs = []
    for actions in action_sequences:
        z = z0
        rollout_cost = 0.0
        for a_t in actions:
            z = predictor(torch.cat([z, a_t], dim=-1))
            rollout_cost = rollout_cost + distance_cost(z, z_goal, kind=distance)
        costs.append(rollout_cost)
    costs = torch.stack(costs)
    weights = torch.softmax(-costs / temperature, dim=0)
    improved_sequence = (weights[:, None, None] * action_sequences).sum(dim=0)
    return improved_sequence[0]

3.7 Code search and code-to-paper status

Search source	Query / evidence	Result
arXiv PDF/source	paper abstract、LaTeX source、appendix	未发现 project page 或 GitHub URL；论文只说 experiments are based on an implementation of JEPA models for action planning by Sobal et al.
Web search	"Value-guided action planning with JEPA world models" github, "VF_quasi" "JEPA"	只找到 arXiv、作者主页、paper lists / aggregators；没有 paper-specific implementation。
GitHub CLI / API	repo search title、repo search JEPA value guided action planning、code search exact title、code search VF_quasi	repo search 返回空；code search exact title 只命中 awesome lists / news aggregators；VF_quasi 为空。
Quentin Le Lidec author page	该论文条目只有 arXiv / pdf / bibtex；相邻论文若有代码会显示 code 链接	侧面确认这篇 paper 当前未公开代码。

因此本笔记不设置 github / github_ref frontmatter，也不写 source-file mapping table。若未来作者释放代码，应补充 commit anchor，并重新检查 pseudocode、training config 和 paper-code discrepancy。

4. Experimental Setup (实验设置)

4.1 Datasets and environments

Figure 1 解读：Figure 1 展示 Wall datasets 中两种典型轨迹。WS 是 small action norms 设置，图中 crossing trajectory 需要通过墙上的门到达另一侧；WB 是 larger action norms 设置，动作步长更大，单条轨迹覆盖环境范围更广，但也更可能撞墙。这个环境用来测试 latent distance 是否能表达“门”带来的可达性拓扑，而不是只看欧氏图像距离。

Wall environment 是一个正方形空间，中间有墙和门，墙与门的位置在环境初始化时随机。agent 从随机起点移动到墙另一侧的随机目标；动作是二维 displacement vectors。观测是 $64\times 64$、2 channels：一个 channel 表示 agent，一个 channel 表示 walls。训练数据生成方式参考 Sobal et al.，不是直接采样 Gaussian noise 动作，因为那会让轨迹集中在环境小区域；论文采样随机方向，并用 concentration parameter 为 $5$ 的 von Mises noise 扰动方向。Wall 数据集包含 $1000$ 条长度 $64$ 的 trajectories，并保证一半轨迹通过门。WS 中 action norm 来自均值 $1$ pixel、标准差 $0.4$ 的 Gaussian，并 clipped 到 $[0.2,1.8]$；WB 中 action norm 来自均值 $2$ pixels、标准差 $0.8$ 的 Gaussian，并 clipped 到 $[0.4,3.6]$。

Figure 2 解读：Figure 2 展示 Maze environment 的状态图像，绿色点是 agent。Maze 是 $4\times 4$ grid，其中 $50\%$ 到 $60\%$ 连通格子被选为迷宫区域。与 Wall 相比，Maze 不只是绕障碍，还包含速度和惯性：规划需要在 representation 中编码 agent position 和 velocity，否则 predictor 即使看见当前位置，也难以判断下一步运动。

Maze environment 基于 Mujoco PointMaze setting。观测是彩色 $64\times 64$、3 channels 图像；动作是 target speed commands，环境计算达到目标速度所需的 force。轨迹通过从随机位置出发、采样 norm 小于 $5$ 的随机 speed vectors 生成。为了测试泛化，训练 trajectories 只来自 $5$ 个 maze layouts，evaluation 使用不同 layouts。数据集包含 $1000$ 条长度 $101$ 的 trajectories；评估时随机起点和目标至少相隔 $3$ 个 cells。

4.2 Baselines and training approaches

Method	State encoder loss	Sep
Contrastive	${\mathcal{L}}_{\text{contrastive}}$	✓
Regressive	${\mathcal{L}}_{\text{regressive}}$ + ${\mathcal{L}}_{\text{VCReg}}$	✓
pred_VCReg	${\mathcal{L}}_{\text{VCReg}}$	×
pred_EMA	EMA procedure	×
VF	${\mathcal{L}}_{\text{VF}}$	✓
VF_pred	${\mathcal{L}}_{\text{VF}}$	×
VF_quasi	${\mathcal{L}}_{\text{VF}}$ + quasi-distance	✓
VF_quasi_pred	${\mathcal{L}}_{\text{VF}}$ + quasi-distance	×
VF_VCReg	${\mathcal{L}}_{\text{VF}}$ + ${\mathcal{L}}_{\text{VCReg}}$	✓
VF_VCReg_pred	${\mathcal{L}}_{\text{VF}}$ + ${\mathcal{L}}_{\text{VCReg}}$	×

Sep 表示先训练 state encoder 的 value/representation geometry，再训练 action encoder 和 predictor；× 表示联合训练或非分离训练。prediction-only baselines 是 pred_VCReg 和 pred_EMA；直觉 baseline 是 Contrastive / Regressive；本文主方法是 VF 与 VF_quasi。

4.3 Metrics and evaluation protocol

主要指标是 planning accuracy / success rate：随机抽取 initial states 和 goals，使用模型做 MPC planning，统计成功 plans 占比。论文在 Wall environment 上评估 $200$ 个 instances，在 Maze environment 上评估 $80$ 个 instances，以降低结果方差。Planning procedure 使用 MPC + MPPI optimizer。

4.4 Model and training configuration

• Representation / model：flat representation size 为 $512$；predictor 是 MLP；action encoder 是 identity；state encoder 是 convolution + residual connections；state/action representations 在输入 predictor 前 concatenated。encoder 有 $2.2$M parameters，predictor 有 $1.3$M parameters。
• Training segments：input trajectories 在训练时 subsampled 为长度 $16$ 的 segments。
• Optimizer：所有网络使用 base learning rate $0.0028$，Adam optimizer，cosine learning rate schedule。
• Value hyperparameters：VF-based 方法使用 $\gamma =0.98,\tau =0.80$；VF_quasi-based 方法使用 $\gamma =0.93,\tau =0.60$。这些值来自 appendix 中的 hyperparameter optimization。
• Planning config：Wall 的 MPPI 使用 $2000$ 个 Gaussian perturbations，mean $0$、std $12$、temperature $\lambda =0.005$；WS planning horizon $96$、total planning steps $200$；WB horizon $64$、total steps $64$。Maze 的 MPPI 使用 $500$ 个 perturbations，mean $0$、std $5$、temperature $\lambda =0.0025$，planning horizon $100$、total planning steps $200$。
• VCReg axes：Wall 中 VCReg 沿 batch dimension 计算；Maze 中 VCReg 沿 batch 和 temporal dimensions 计算。
• Hardware：论文未详细说明 GPU 类型、GPU 数量或训练时长，因此不能补写硬件配置。

5. Experimental Results (实验结果)

5.1 Main planning results

Method	WS	WB	Maze
Contrastive	0.49	0.59	0.50
Regressive	0.54	0.57	0.46
pred_VCReg	0.55	0.89	0.54
pred_EMA	0.46	0.43	0.04
VF	0.63	0.94	0.49
VF_pred	0.55	0.75	0.49
VF_quasi	0.71	0.96	0.63
VF_quasi_pred	0.61	0.85	0.43
VF_VCReg	0.49	0.75	0.39
VF_VCReg_pred	0.47	0.67	0.39

最重要的结果是 VF_quasi 在三个环境上都最好：WS 为 $0.71$，WB 为 $0.96$，Maze 为 $0.63$。相对 prediction-only 的 pred_VCReg，VF_quasi 分别提升 $+0.16$、$+0.07$、$+0.09$；相对欧氏 VF，VF_quasi 在 WS、WB、Maze 上分别提升 $+0.08$、$+0.02$、$+0.14$。这说明本文最有效的不是单纯加 ${\mathcal{L}}_{\text{VF}}$，而是 value-function objective 与 quasi-distance parameterization 的组合。

VF 本身在 WS 和 WB 上也强于大多数 baselines，WS $0.63$、WB $0.94$，说明 value-shaped representation 对 Wall 的拓扑障碍确实有帮助。但 VF 在 Maze 上为 $0.49$，低于 pred_VCReg 的 $0.54$；这表明在更复杂、含速度/惯性的环境中，欧氏距离表达力不足，或者 value learning 受远距离 sparse triplets 影响更严重。VF_quasi 在 Maze 上达到 $0.63$，正好支持作者关于 quasi-distance 更易训练、更有表达力的解释。

pred_EMA 表现很差，尤其 Maze 只有 $0.04$，说明普通 EMA 防坍塌 prediction representation 并不自动产生可规划几何。Regressive 和 Contrastive 也只提供弱基线；它们能利用局部邻近关系，却不能稳定表达全局 reaching value。VF_VCReg 和 VF_VCReg_pred 反而较差，说明把 VCReg diversity objective 叠到 value geometry 上可能会破坏 distance-value 对齐。

5.2 Hyperparameter ablation: $\gamma$ and $\tau$

Figure 3 解读：Figure 3 左侧展示在 $\tau =0.7$ 时 planning accuracy 随 $\gamma$ 变化；右侧展示 VF 与 VF_quasi 在不同 $\tau$ 下的结果，其中 VF 使用 $\gamma =0.98$，VF_quasi 使用 $\gamma =0.93$。总体趋势是增大 $\gamma$ 和 $\tau$ 可以更好捕捉远距离状态关系，但二者太接近 $1$ 会引入训练不稳定，使 planning accuracy 下降。

$\gamma$ 控制 value target 对远期状态的重视程度。更高的 $\gamma$ 让模型在学习 $V(s,g)$ 时考虑更长 horizon，因此对跨墙门或 Maze 长路径更有意义；但如果 $\gamma$ 过高，Bellman target 的有效 horizon 变长，远距离 residual 的噪声与 bootstrap 误差也会放大。$\tau$ 是 expectile level，理论上接近 $1$ 时更接近 IQL 中对高 value / better-than-behavior outcomes 的偏置，但实践中太高会造成不稳定。论文最终选择 VF 的 $\gamma =0.98,\tau =0.80$ 和 VF_quasi 的 $\gamma =0.93,\tau =0.60$。

5.3 Key ablations and interpretation

Sep 优于 joint prediction：VF_pred、VF_quasi_pred 和 VF_VCReg_pred 都弱于对应的 Sep 版本。VF_quasi_pred 在 WS/WB/Maze 上是 $0.61/0.85/0.43$，明显低于 VF_quasi 的 $0.71/0.96/0.63$。这说明同时训练 prediction 和 value-shaped geometry 可能会让 state encoder 被两个目标拉扯；在这篇论文的模型规模和数据上，先把 state geometry 学成 value proxy，再训练 predictor 更稳定。

Quasi-distance 是最稳定的增益来源：作者指出即使理论 value function 是 symmetric，VF_quasi 也优于 VF。这可能不是因为环境 value 必然强非对称，而是因为 quasi-distance 增强了 network expressiveness，使 representation 更容易拟合 reaching value 的局部和全局结构。Maze 上 $+0.14$ 的 VF_quasi-vs-VF 提升尤其明显，说明速度/惯性和泛化到新 layouts 时，单纯欧氏 latent distance 可能过于刚性。

WB 比 WS 更容易：WB 中 action norm 更大，单条 trajectory 探索范围更广，所以训练数据包含更丰富的可达关系；同时 agent 更可能撞墙，这会暴露更多与障碍相关的 transitions。结果中 pred_VCReg 在 WB 已经达到 $0.89$，VF 达到 $0.94$，VF_quasi 达到 $0.96$；WS 的最高结果只有 $0.71$，说明小动作数据更局部，value geometry 对远距离关系的学习更困难。

5.4 Limitations and caveats

作者明确指出，当前方法学到的 value functions 仍不准确，结果并不完美。主要原因有两个。第一，训练中远距离 triplets（starting state、following state、goal）的空间被稀疏采样，模型容易只学到局部关系。第二，discounted value function 对远离目标状态的梯度很小，signal-to-noise ratio 低；这会让远距离状态之间的 geometry 更难被正确组织。作者建议未来可使用 hierarchical representation spaces：低层处理短程 transitions，高层用更粗粒度、更长程的状态抽象捕捉远距离关系。

数据分布也是限制。IQL 理论在 $\tau \to 1$ 时强调 behavior policy support，但实践中轨迹质量、探索覆盖和 suboptimality 都会影响训练。高度 suboptimal 的 trajectories 可能让真实接近的状态在数据中表现得很远，从而干扰 value geometry；expert trajectories 更干净，但难获得且可能牺牲探索多样性。作者认为训练时用于 IQL loss 的 states 必须覆盖整个 state space，这可以通过更大数据集或更有效的数据采集策略实现。

此外，实验还停留在简单控制任务，没有报告真实机器人、复杂视觉场景、大规模 world model、计算成本或硬件训练细节。论文也没有公开 paper-specific code；因此本笔记的伪代码只能作为公式级理解，不能作为可复现实验脚本。

5.5 Overall conclusion

这篇论文的结论是：JEPA planning 的关键不只是 predictor 是否能短期预测 latent，而是 planning cost 所在的 latent geometry 是否和 goal-reaching value 对齐。IQL-inspired value-function loss 可以把 state encoder 训练成更适合 MPC 的表示，quasi-distance 进一步提升表达力，在 WS、WB、Maze 三个环境上取得最佳 success rate。方法的局限在于远距离 value learning 仍然不稳、数据覆盖要求高，并且缺少公开代码；但它清楚展示了一个值得继续扩展的方向：把 RL value structure 融入 JEPA world model 的 representation space，而不是只在规划器外部再加一个奖励模型。