latent wam隐空间世界动作模型论文对比

Source: 小红书原帖 Author: S!mple Published: 2026-05-18 15:38 +0800 Scope: 本笔记依据原帖正文、SSR 元数据和 7 张可见图文卡片整理；它是对这篇 blog 的阅读笔记，不等同于逐篇论文原文精读。

一句话结论

这篇 blog 的主线是：近期 latent WAM / world-action model 的关键竞争点，不只是“有没有 world model”，而是未来状态用什么 representation 表示、这个 representation 是否 task-centric、训练时如何防止 collapse、推理时是否还需要显式 future imagination。作者把 FLARE、FRAPPE、WoG、Being-H0.7、DINO-WM、LeWM 放在同一条 representation-learning 线索上看：从冻结预训练 encoder 提供稳定目标，到多 encoder / 多 expert 提供更丰富监督，再到可学习 encoder + anti-collapse loss 让 latent state 更贴近任务动态。

原帖最有价值的判断是把 grounding、bbox、point flow、affordance 等结构化信号都视为“未来状态预测的代理 representation”。这些手工设计或半结构化表征短期有用，因为它们把物理交互中可监督的因素显式暴露出来；但从 scaling 视角看，它们很可能不是终局。更可扩展的方向是让 world modeling 自身提供密集、动态、动作相关的监督，让模型学出既 compact 又能服务未来预测和控制的 latent state。

读这篇 blog 要抓住的表征主线

第一层问题是为什么要从 pixel future 转向 latent future。Pixel-space future prediction 对机器人控制并不总是划算：它会花容量重建背景、纹理、光照等对动作不关键的细节，还会把推理链路变长。Latent future 的目标更直接：只保留对任务进展、接触关系、对象状态和 action consequence 有用的变量，让 policy 通过隐空间中的未来推理获得更强的动作条件化能力。

第二层问题是latent 从哪里来。一种做法是直接使用冻结的 VLM / DINOv2 / vision foundation encoder，把 future observation 映射到稳定 embedding，再要求 policy 内部的 future token 或 hidden state 与它对齐。这类方案稳定、工程上简单，也能避免 JEPA 类方法常见的 collapse；但代价是 representation 未必完全 task-centric，可能仍含有许多与控制无关的视觉冗余。

第三层问题是如果 encoder 可学习，如何避免表征塌缩。可学习 encoder 理论上能把 future state 压缩到更适合控制的空间，但预测目标本身也在训练中变化，模型容易把所有输入映射到常数或低维退化结构。WoG、Being-H0.7、LeWM 的差别可以放在这里看：WoG 用两阶段训练先固定 compact future encoder；Being-H0.7 用 prior / posterior 双分支和额外 regularization 做单阶段训练；LeWM 则强调用更简单的 SIGReg 类正则让从头训练的 encoder 保持分布活性。

第四层问题是action 和 future state 是否要联合建模。FLARE / FRAPPE 一类方法把 action tokens 与 future state tokens 放进同一个生成或 denoising 结构里，让 action prediction 不再只是 reactive mapping，而是在训练时被 future representation 牵引。DINO-WM 更偏 latent dynamics + planning，不直接做 future state 和 action 的联合预测；LeWM 也更像从 JEPA/world-model 角度出发，先把稳定 latent dynamics 学好，再看它如何支持规划。

横向对比

方法线索	这篇 blog 强调的问题	表征来源	防 collapse / 稳定训练的思路	读法
FLARE / FRAPE	在 policy 内部引入 future latent reasoning，同时保留 action flow-matching 能力	冻结 VLM / future observation encoder	frozen encoder 给 future token 一个稳定对齐目标	重点不是生成 future frame，而是让 DiT hidden state 学会对齐未来 observation embedding
FRAPPE	多阶段训练，同时预测 future state 和 action，引入多个预训练 encoder	多个 visual foundation encoder + 多套 LoRA / expert	多源 representation supervision 降低单一 encoder 偏差	可以看成把 FLARE 的单一路径扩成并行 progressive expansion
WoG	如何得到 compact 且 task-centric 的 future state 表征	先训练 future-state compression encoder，再冻结	两阶段 pipeline：先学压缩 encoder，后学 WAM	核心是把“未来状态目标会动”这个问题拆开，避免训练二阶段时目标漂移
Being-H0.7	想要 WoG 式 latent future supervision，但希望单阶段训练	prior branch 负责当前上下文推理，posterior branch 注入 future observation 特征	alignment loss + anti-collapse regularization 都不能省	posterior branch 是训练期 teacher，推理时依赖 prior branch 的 future-aware latent
DINO-WM	在 DINOv2 latent space 中做 dynamics reasoning 和 planning	冻结 DINOv2 patch features	借助预训练特征稳定性，不从头学 encoder	与 joint WAM 不同，它不强调 action / future state 同时生成，而是用 latent dynamics 支持 test-time planning
LeWM	比 DINO-WM 更进一步，从像素和动作轨迹中从头训练 latent world model	从头训练 encoder / predictor	SIGReg 让 embedding 分布保持展开，减少 JEPA 式 collapse	blog 的评价是“架构简洁本身就是力量”：少组件、少 loss，但关键正则要有效

方法图解读

FLARE / FRAPE 图解读：图中把当前 observation、instruction、state tokens、noised action tokens 和 learnable future tokens 放在同一个 DiT 结构里。action flow-matching loss 继续负责动作生成，future latent alignment loss 则把某一层 future token activations 与冻结 vision-language encoder 提取的未来 observation embedding 对齐。它的关键点是：模型不需要显式生成未来图像，但训练时必须在 hidden state 里“预留”一个可被未来表征监督的空间。

FRAPPE 图解读：这张图强调 multi-stage 和 multi-expert。训练阶段引入 Teacher Encoder、LoRA、Router 等组件，使模型在不同阶段从 future observation、action tokens 和多个专家路径获得监督；推理阶段再通过 router 融合 expert 输出。相较单个 frozen encoder，FRAPPE 的思路是用多个预训练表征来源增加监督密度，并用并行扩展减轻单一路径容量不足的问题。

WoG 图解读：WoG 关心的是 future state representation 本身是否 compact、task-centric。图里第一阶段从 Vision-Language Model 的 hidden states 和 future observations 训练 Future Encoder，使它学会抽取未来中与任务相关的压缩表示；第二阶段冻结这个 encoder，让 action head / policy 去对齐这个固定目标。这样做的动机是避免训练过程中 target representation 自己也在漂移，从而把 collapse 风险前置处理。

Being-H0.7 图解读：Being-H0.7 用 prior branch 和 posterior branch 做 future-aware latent action。prior branch 只能看当前 context 和 latent query，是部署时真正使用的路径；posterior branch 在训练时接收 future embedding，提供未来表征监督。两支之间的 alignment 让 prior 学会从当前信息中推断未来相关 latent；regularization 则防止 latent query / future embedding 退化。原帖强调的重点是：如果去掉 reg loss，就会回到 JEPA 类 collapse 问题。

DINO-WM 图解读：DINO-WM 先把 observation 编码到 DINOv2 feature space，再学习 action-conditioned latent transition。测试时，模型在 latent space 中搜索或优化 action sequence，让预测 latent 靠近 goal latent。它的优势是避开 pixel reconstruction，并利用 DINOv2 的预训练表征稳定性；局限是这个 latent 是否足够 task-centric 取决于 DINOv2 feature 本身和下游 dynamics 学习。

LeWM 图解读：LeWM 不再依赖 DINOv2 这类固定 feature，而是从头训练 encoder 和 predictor。左侧是 action-conditioned next-latent prediction，右侧是 SIGReg 对 embedding distribution 的约束：让 latent 在随机投影下接近 isotropic Gaussian，从分布形态上防止所有样本挤到同一点或少数方向。blog 把它概括为“简单有效的正则化 loss”，读法是：LeWM 的贡献不只是学 latent dynamics，而是用更小的 recipe 把 JEPA/world-model 的稳定训练问题压低。

阅读后的判断

这篇 blog 的隐含判断是：WAM 的未来不太可能长期停留在“预测一张未来图，再反推动作”的 pipeline。对机器人来说，真正要预测的是会影响动作选择的未来状态变量，而不是完整视觉帧。只要 latent state 能保留任务进展、接触状态、可行动性和对象运动趋势，它就比 pixel future 更适合成为 policy 的中间工作区。

但 latent WAM 的难点也更清楚了：稳定性和任务相关性往往互相拉扯。冻结 encoder 稳定，但可能不够贴近任务；可学习 encoder 更贴近任务，但容易 collapse；多 encoder / 多 expert 增加监督，但系统复杂度上升；单一正则更简洁，但要看它在复杂机器人数据和长时序任务里是否足够稳。读这类论文时，不应只看 benchmark 成功率，还要看它如何定义 future representation、是否在推理时仍依赖慢速 rollout、anti-collapse 机制是否可删、以及 learned latent 是否真的提升了 long-horizon / unseen scenario 泛化。

这篇 blog 还暗示了一个更工程化的判断标准：一个 WAM 方法是否值得用，不能只看它把 future state 放进了训练目标，而要看它是否让 policy 的决策边界发生变化。好的 future representation 应该让模型在当前 observation 不充分时仍能区分“动作看起来相似但后果不同”的候选，例如抓取方向、接触顺序、物体遮挡后的位置、容器是否已经被推动到可放置区域。若 latent 只是在训练 loss 上变好，但 action distribution、失败恢复和长程组合任务没有改善，它可能只是额外 regularizer，而不是真正的 world-action model。

读 latent WAM 论文时的检查清单

1. future representation 的监督到底来自哪里。 如果目标来自 frozen encoder，需要问这个 encoder 的预训练目标是否覆盖机器人任务所需变量。DINOv2 可能对形状、局部对应和语义有用，但未必天然编码 affordance、接触力或可操作性；VLM embedding 语义更强，但也可能把“任务成败相关的几何细节”压掉。如果目标来自 learned encoder，则要看训练是否有足够约束让它既压缩又不塌缩。

2. anti-collapse 机制是否只是装饰。 JEPA 类方法最危险的地方是 loss 表面上下降，但 representation 退化到常数或少数方向。WoG 的两阶段冻结、Being-H0.7 的 reg loss、LeWM 的 SIGReg 都是在处理这个风险。读 ablation 时要重点看：去掉 regularization 后是不是性能下降、embedding variance / rank 是否变化、future prediction 是否仍能区分不同 action outcome。只有任务成功率的 ablation 还不够，最好还要有 representation geometry 的证据。

3. future state 和 action 的耦合方式是否明确。 有些方法只学 latent dynamics，再在 test-time 搜索 action；有些方法把 action tokens 和 future tokens 放在同一个 DiT 或 transformer 里联合训练。前者更像 world model + planning，后者更像 future-aware policy training。两者不是同一个接口：前者可能更适合目标条件规划和可解释 rollout，后者可能更适合 imitation / diffusion policy 的大规模训练。比较结果时不能只看名字都叫 WAM，要看 inference path 是否真的使用 future latent。

4. 推理成本是否被隐藏。 如果方法训练时看起来优雅，但推理时需要大量 candidate action rollout、latent search 或多 expert routing，它在真实机器人闭环控制里可能会遇到 latency 问题。blog 里对 compact representation 的强调，实际上也在指向这个问题：future state 必须足够压缩，才能作为快速 policy 的内部状态，而不是每一步都重新做昂贵的世界模拟。

5. 数据驱动表征是否真的超越手工结构。 作者提到 bbox、point flow、affordance 等结构化 representation 会被数据驱动表征击败，这是一个方向判断，不是已经自动成立的事实。短期内，手工结构仍然提供了很强的 inductive bias，尤其在数据少、任务窄、评估明确时。数据驱动 latent 要真正赢，必须在跨物体、跨任务、遮挡、接触和长程组合上表现出迁移优势，否则只是把人工表征换成更难解释的 embedding。

如果后续要按论文顺序深读，我会先读 DINO-WM 和 LeWM，因为它们把 latent dynamics / JEPA collapse 这条底层问题讲得更直接；再读 FLARE 和 FRAPPE，看 future representation 如何进入 VLA policy training；最后读 WoG 和 Being-H0.7，比较两阶段冻结目标与单阶段 dual-branch regularization 的取舍。这样读的好处是先理解“latent state 应该是什么”，再理解“它如何指导 action generation”。

可继续追的论文线索

• FLARE: 重点看 Future Latent Alignment loss 与 action flow-matching 如何共存；原帖图中对应 future token alignment 路线。
• FRAPPE: 重点看 Multiple Future Representation Alignment、Parallel Progressive Expansion、多 encoder / 多 LoRA expert 如何降低单一 future representation 的偏差。
• WoG / WorldGuidance: 重点看 compact task-centric representation 的定义，以及两阶段训练怎样避免 target representation 漂移。
• Being-H0.7: 重点看 prior / posterior branch 的角色划分，尤其是 align loss 与 regularization loss 的不可替代性。
• DINO-WM: 重点看 DINOv2 latent dynamics 如何支持 zero-shot planning，以及不做 joint action/future prediction 的边界。
• LeWM: 重点看 SIGReg 为什么能替代一堆 JEPA anti-collapse trick，以及从头训练 encoder 相比冻结 feature 的收益和风险。