World Action Models: The Next Frontier in Embodied AI

Paper: arXiv:2605.12090 Code: OpenMOSS/Awesome-WAM Code reference: main @ 0831cacd (2026-05-24)

1. Motivation (研究动机)

这篇文章不是提出单个新的 robot policy，而是在给一个快速成形但术语混乱的方向立边界：World Action Model (WAM)。传统 Vision-Language-Action (VLA) model 通常学习 $p (a ∣ o, l)$ ，也就是给定当前 observation $o$ 与语言指令 $l$ 后直接输出 action $a$ 。这种 reactive mapping 的好处是端到端、推理直接；核心缺口是它不显式建模“如果我这样做，世界下一步会怎样”。在长时程、接触丰富、需要反事实判断的 embodied task 中，只输出 action 容易把物理可行性、物体状态演化、失败恢复都压缩进隐式表示里。

World Model 方向则通常学习 $p (o^{'} ∣ o, a)$ 或 $p (o^{'} ∣ o, l)$ ，强调预测下一状态、视频、latent dynamics 或可交互仿真。它补上了 dynamics，但如果只停留在 world prediction，本身并不一定产生可执行 action；如果再外接 policy，又会出现 prediction 与 control 目标不一致的问题。WAM 的动机正是把这两个方向合并：一个 embodied foundation model 同时预测 future state 与 executable action，让模型学习的是未来世界与行动之间的 joint distribution，而不是单独的 state rollout 或 action token。

Figure 1 解读：这张图把 WAM 文献按时间与结构路线组织起来。左侧是 Joint WAM：world prediction 与 action generation 在同一模型内耦合，进一步分为 Autoregressive 与 Diffusion-based；右侧是 Cascaded WAM：先生成未来世界表示，再从这个表示提取 action。图的价值不在于给出线性“下一代替代上一代”的历史，而是说明当前领域还在探索不同的 architecture coupling inductive bias。

这件事值得研究，是因为一旦模型能把“想象未来”和“执行动作”放在同一个可学习结构中，机器人训练就不再完全依赖昂贵的真实 teleoperation，也不必只用 sim-to-real 环境做高风险 RL。WAM 可能同时服务 imitation learning 的数据扩增、RL 的 imagined rollout、reward modeling 的未来结果判断、policy evaluation 的 virtual testing，以及更长远的 safety verification：执行动作前先检查模型想象的后果是否违反物理约束或安全约束。

2. Idea (核心思想)

核心洞见：WAM 的最小定义不是“用 video model 做 robot policy”，而是学习 $p (o^{'}, a ∣ o, l)$ —— future observation/state 与 action 的联合预测。这样定义后，video、latent、point cloud、tactile/force 都只是 world state 的不同 carrier；关键是预测必须与可执行 action 对齐。

本文的贡献是把零散的 WAM-like 工作统一成三个层次：先用概率形式区分 VLA、World Model、WAM；再把 architecture 分为 Cascaded 与 Joint，并按 pixel/latent、autoregressive/diffusion、unified/multi-stream 细分；最后把 data 与 evaluation 也纳入同一框架，指出现有方法真正的瓶颈是 physical grounding、data mixture、joint evaluation 和 real-time latency。

与普通 VLA 相比，WAM 不只问“当前应该做什么”，还问“做完之后世界应该变成什么样”；与普通 World Model 相比，WAM 不只预测状态演化，还必须把预测状态映射或联合生成到 action。与 Video Action Model 或 Video Policy 相比，WAM 是更宽的概念：视频只是 world prediction 的一种代理，不能把 WAM 限定为 RGB frame synthesis。

3. Method (方法)

3.1 形式化定义：从 action-only 到 world-action joint modeling

论文从一个 embodied agent 的单步交互写起：观测 $o \in O$ 可以包含视觉、proprioception 与其他感知；语言指令为 $l \in L$ ；action 为 $a \in A$ ；下一步观测为 $o^{'}$ 。三类模型的训练目标被写成： $L_{VLA} = E_{(o, l, a) \sim D} [- lo g p (a ∣ o, l)]$ $L_{WM} = E_{(o, a, o^{'}) \sim D} [- lo g p (o^{'} ∣ o, a)]$ $L_{WAM} = E_{(o, l, o^{'}, a) \sim D} [- lo g p (o^{'}, a ∣ o, l)]$ 这三个式子说明了 WAM 的中心位置：它不是把 World Model 当作外部 simulator，也不是把 VLA 改名；它要求同一训练样本里 action 与 future observation/state 同时成为 supervision target。直觉上，action 监督约束模型不要只生成“看起来合理”的未来；future-state 监督又约束 policy 不要只输出短视 action token。二者联合后，模型更容易学到“行动导致状态变化”的因果结构。

Figure 2 解读：左侧直接比较 VLA、WAM、WM 的输入输出。VLA 从 $(o, l)$ 到 $a$ ；WM 从 $(o, a)$ 或 $(o, l)$ 到 $o^{'}$ ；WAM 从 $(o, l)$ 同时到 $(o^{'}, a)$ 。右侧强调 WAM 与 VAM、Video Policy 的关系：VAM/video policy 多半绑定 video-generation backbone 或 video future，WAM 则允许世界状态是 RGB、latent、3D、point cloud、tactile 或 force signal。

3.2 World Model 作为 VLA 的外部工具

在 WAM 内化 world prediction 之前，World Model 已经以外部模块服务 VLA。论文把作用分成四类：imitation learning 中生成或过滤 demonstration；reinforcement learning 中提供 imagined interaction；reward modeling 中从 dynamics 或 future outcome 估计 reward；policy evaluation 中作为 data-driven simulator 做虚拟 rollout。

Figure 3 解读：图中 $T$ 表示 rollout trajectories。World Model 可以在训练前生成数据、训练中替代真实交互、训练后做 evaluation，也可以给 reward model 提供未来结果。论文把这一步看作 WAM 的前史：当 world prediction 仍是外部工具时，policy 与 dynamics 的目标可能不一致；WAM 则把预测核心塞进 policy architecture。

3.3 Cascaded WAM：先想象世界，再提取动作

Cascaded WAM 采用分离式 pipeline：Stage 1 预测未来世界表示，Stage 2 把这个表示解码为 action。论文把它分为 explicit planning 与 implicit planning。

Explicit pixel-space planning + learned action extraction：Stage 1 生成 RGB 或 RGB-D future plan，例如 video U-Net、OpenSora、CogVideoX、Wan、COSMOS-PREDICT 等；Stage 2 用 inverse dynamics model、Transformer/ACT、PointNet++ 或 action decoder 把视觉未来转成 action。优点是 intermediate plan 可视化、可解释；缺点是每一步都要生成高维视觉，latency 高，而且视觉 plausibility 不保证 action feasibility。
Explicit planning + geometric extraction：不训练 action decoder，而是用 optical flow、pose estimation、depth、FoundationPose、SAM2、Grounding DINO、AnyGrasp、cuRobo 等几何/感知模块把未来图像转成轨迹或抓取。优点是可以零样本借用强 video model；缺点是 pipeline 长、错误会级联，且对遮挡、接触、非刚体变形敏感。
Implicit latent planning：Stage 1 不一定生成 RGB frame，而是生成 latent video、active-region encoding、tactile latent 或 discrete latent action token；Stage 2 再从 latent 解动作。它减少 pixel-level generation 的成本，但牺牲一部分可解释性，也需要保证 latent 真正保留 action-relevant dynamics。

Figure 4 解读：图中 1(a) 是 learned action extraction：先生成 pixel future plan，再用 learned inverse dynamics/action model 变成 action；1(b) 是 geometric extraction：把视觉计划转换成轨迹、pose、flow 或 grasp；2(a) 是 latent representation：中间状态不再是 RGB，而是 latent future representation。Cascaded 的共同问题是 world module 与 action module 分开训练，误差会从 imagination 传到 execution。

3.4 Joint WAM：在同一模型内联合预测未来与动作

Joint WAM 把 future world state 与 action 放进同一模型里训练。论文进一步分为 Autoregressive Generation 与 Diffusion-based Non-Autoregressive Generation。

Autoregressive route 把 visual tokens、proprioception、future patches、state/action tokens 串成序列，用 GPT-style causal Transformer、Chameleon/Qwen-style MLLM 或 Mixture-of-Transformer 逐 token 预测。它擅长复用 LLM/VLM 的 sequence modeling 与 instruction-following 能力；瓶颈是 rollout 长、闭环频率高时自回归延迟和 error accumulation 明显。

Diffusion/flow route 用 DiT、CogVideoX、Wan、Cosmos-Predict、Open-Sora 等 continuous generative backbone 同时 refine future observations/latents 与 action trajectories。论文认为它缓解了自回归的 sequential bottleneck，适合并行 denoising 与高维 video/latent generation，但仍要解决推理频率、动作精度与多模态同步。

Figure 5 解读：图中 1(a) 是 Unified Stream：world 与 action 在单个 DiT backbone 中共同建模，world modeling 可以显式生成 future 或隐式形成 latent future；2(a) 是 Cross-Attention Coupled multi-stream；2(b) 用 video DiT 的 hidden states condition action DiT；2(c) 先用 unified encoder 融合再分别 decode。这个 taxonomy 的关键变量是 coupling 位置：越早融合，同步更强但调参更难；越晚融合，模块复用更容易但 joint causal alignment 可能变弱。

3.5 数据生态：WAM 同时吃 action-labeled robot data 与 action-free world data

论文把训练数据分成四类。Robot-centric teleoperation 提供严格对齐的 $(o_{t}, a_{t}, o_{t + 1})$ ，是 action-conditioned dynamics 的高质量来源；UMI-style portable human demonstration 提高采集效率并扩大任务覆盖；simulation data 通过程序化场景、3D/4D dynamics、tactile/physics supervision 提供可控扩展；human/egocentric internet video 提供大规模语义与物理先验，但需要 pose estimation、proprioceptive grounding 或 action gap bridging。

Figure 6 解读：横轴是 scaling difficulty，纵轴是 transfer difficulty。Robot teleoperation 最接近真实机器人但扩展昂贵；internet egocentric video 规模最大但动作 grounding 最弱；simulation 规模和标注可控但 sim-to-real gap 明显；UMI-style 数据介于两者之间，强调可携带的人类演示。WAM 的机会在于“unified data digestion”：既利用 action-state triplet，也从 action-free video 学 world prior。

3.6 Evaluation：当前还没有真正 joint 的 WAM 指标

论文把 evaluation 分为 World Modeling Capability 与 Action Policy Capability。前者再拆成 visual fidelity、physical commonsense、action plausibility；后者覆盖 general manipulation、bimanual/humanoid、mobile manipulation、contact/deformation、real-robot benchmarks。典型 visual metrics 包括： $PSNR (x, y) = 10 lo g (\frac{MAX ^{2}}{MSE ( x , y )})$ $SSIM (x, y) = \frac{( 2 μ _{x} μ _{y} + C _{1} ) ( 2 σ _{x y} + C _{2} )}{( μ _{x}^{2} + μ _{y}^{2} + C _{1} ) ( σ _{x}^{2} + σ _{y}^{2} + C _{2} )}$ $FVD = ∥ μ_{r} - μ_{g} ∥_{2}^{2} + Tr (Σ_{r} + Σ_{g} - 2 (Σ_{r} Σ_{g})^{1/2})$ 这些指标能检查图像/视频质量，却无法保证“想象的未来”与“输出的 action”因果一致。论文最重要的 evaluation 观点是：WAM 需要 coupled metrics，例如 counterfactual consistency、foresight-conditioned success，而不是把视频像不像和任务成不成功分开算。

3.7 概念性伪代码：WAM 的 joint objective 与两类结构

官方仓库是 curated reading list/project site，不包含可运行的 WAM training loop；下面伪代码因此是对论文 formalism 与 taxonomy 的实现化表达，不声称来自 released model code。

import torch
import torch.nn.functional as F
 
 
def wam_joint_loss(model, batch):
    obs = batch["obs"]                  # visual/proprio/tactile observations o
    lang = batch["instruction"]         # language instruction l
    future_obs = batch["future_obs"]    # next/future world state o'
    action = batch["action"]            # executable action a
 
    pred_future_dist, pred_action_dist = model(obs, lang)
    loss_future = -pred_future_dist.log_prob(future_obs).mean()
    loss_action = -pred_action_dist.log_prob(action).mean()
    return loss_future + loss_action
 
 
def cascaded_wam_step(world_model, action_decoder, obs, lang):
    future_plan = world_model.generate(obs=obs, instruction=lang)
    action = action_decoder.decode(obs=obs, instruction=lang, future=future_plan)
    return action, future_plan
 
 
def joint_diffusion_wam_step(joint_dit, obs, lang, noise, steps):
    world_latent, action_latent = noise["world"], noise["action"]
    for t in reversed(range(steps)):
        world_latent, action_latent = joint_dit.denoise(
            world_latent=world_latent,
            action_latent=action_latent,
            obs=obs,
            instruction=lang,
            timestep=t,
        )
    return joint_dit.decode_action(action_latent), joint_dit.decode_world(world_latent)

3.8 Code-to-paper mapping

Code reference: main @ 0831cacd (2026-05-24) — pseudocode and mapping based on this commit; repository is a curated resource, not a WAM model implementation.

Paper Concept	Source File	Key Class/Function
WAM tag taxonomy: Cascaded / Joint / Autoregressive / Diffusion	`README.md` (`World Action Model tags`)	N/A — Markdown taxonomy badges
Cascaded WAM reading list and links	`README.md` (`### Cascaded World-Action-Model`)	N/A — curated paper/resource entries
Joint WAM reading list and links	`README.md` (`### Joint World-Action-Model`)	N/A — curated paper/resource entries
Data and evaluation resources	`README.md` (`### Training Data`, `### Evaluation`)	N/A — curated dataset/benchmark entries
Project visual assets	`figs/definition.svg`, `figs/wm4vla.svg`, `figs/cascaded.svg`, `figs/joint.svg`, `figs/data.svg`, `figs/roadmap.svg`	N/A — static diagrams
Leaderboard/project site metadata	`leaderboard/data/*.json`, `index.html`, `leaderboard/leaderboard.js`	Static JSON/JS site data, not training code

论文公式与 released code 实现差异：官方 GitHub OpenMOSS/Awesome-WAM 是 survey companion repository，包含 README taxonomy、static figures、leaderboard JSON 与 individual report assets；它不包含 WAM model、loss、training config 或 inference loop。因此没有可逐行对齐的 released implementation，也不存在可从仓库中读取的 GPU/LR/batch size 等训练超参数。

4. Experimental Setup (实验设置)

本文是 survey，不报告新的模型训练实验；“实验设置”对应论文系统化整理的数据、benchmark 与 evaluation protocol，而不是作者自己训练一个 WAM。

Datasets and scale. 论文整理的数据生态包括四组代表性来源：

Data source	Representative exact scale from paper tables	Why it matters for WAM
Robot-centric teleoperation	QT-Opt 580k trajectories; MT-Opt 800k trajectories; RT-1 130k+ trajectories; OXE 1M+ trajectories with 527 skills / 160k+ tasks / 60 envs / 22 robots; DROID 76k trajectories with 86 skills / 86 tasks / 564 envs; ARIO 3M+ trajectories	最接近可执行 action 与真实 sensor dynamics，是 $(o_{t}, a_{t}, o_{t + 1})$ 的核心来源
Portable human demonstration / UMI	FastUMI-Data 10K+ trajectories; FastUMI-100K 100K+ trajectories; RealOmin 1M trajectories; RDT2 10,000 hours	降低 teleoperation 门槛，扩大 everyday manipulation 覆盖
Simulation data	MimicGen 50k trajectories; ManiSkill2 4M+ frames; RoboCasa 100k+ trajectories; DexMimicGen 21,000 trajectories; QUARD-Auto 258,418 trajectories	提供程序化场景、可控 physics、3D/4D 与 tactile supervision，但需处理 sim-to-real gap
Human / egocentric video	SSv2 108,499 clips; EPIC-KITCHENS 55 hours; HowTo100M 136M clips; Kinetics-700 650K clips; Ego4D 3,670 hours	规模最大，提供 semantic/visual dynamics prior，但 action grounding 弱

Baselines / compared method families. 论文比较的不是单一 benchmark 上的 baseline，而是方法家族：standard VLA、standard World Model、Video Action Model、Video Policy、Cascaded WAM、Joint WAM；architecture 层面再比较 pixel-space explicit planning、geometric extraction、latent planning、autoregressive joint prediction、diffusion unified-stream 与 diffusion multi-stream。

Evaluation metrics. World modeling 侧包括 PSNR、SSIM、LPIPS、DreamSim、DINO similarity、FVD，以及 VideoPhy、PhyGenBench、VBench-2.0 等 physical commonsense benchmark；action policy 侧包括 LIBERO、CALVIN、Meta-World、RoboCasa、RoboTwin、SIMPLER、RLBench、real-robot success rate 等任务成功指标。论文强调这些指标目前大多 decoupled：visual fidelity 和 task success 分开算，没有直接度量 imagined future 与 generated action 的 causal consistency。

Training config. 论文未详细说明新的训练配置，因为它不是训练论文；官方 repo 也没有 released WAM model config。文中只在被综述方法表里记录若干 backbone 规模，例如 PaLM-E 12B、CogVideoX-5B、Wan2.1-I2V-14B-480P、Cosmos-Predict2-2B、Wan2.2-5B、Qwen3-VL-2B/4B 等。

5. Experimental Results (实验结果)

Main findings. 论文的主要结果是一个概念与资源层面的系统化结论：WAM 正在从“World Model 辅助 VLA”转向“world prediction 内化进 policy architecture”。Cascaded route 的优势是可解释、可借用强 video/world model；劣势是模块分离、latency 与误差级联。Joint route 的优势是 world/action 共同监督与更强 causal coupling；劣势是训练/推理更重、评估更难、action precision 与 future fidelity 的 trade-off 尚未系统验证。

Quantitative evidence from tables. 论文没有报告一个统一 score 排名，但表格显示 WAM 数据规模已经跨越多个数量级：robot demonstrations 从 BridgeData 的 7.2k trajectories 到 ARIO 的 3M+ trajectories；simulation 从 50k trajectories 到 4M+ frames；internet/egocentric video 从 55 hours 到 136M clips。这个跨度支撑了论文关于 unified data digestion 的判断：未来 WAM 不能只依赖 robot-centric teleoperation，也不能只依赖 action-free video，而需要设计 data mixture 与 grounding bridge。

Ablation-style conclusions. 作为 survey，本文没有自己的 ablation；但它把未来需要做的 controlled ablation 明确化：在相同 scale、data、evaluation protocol 下比较 Cascaded vs Joint、explicit visual prediction vs latent prediction、unified-stream vs multi-stream、autoregressive vs diffusion。作者认为目前没有系统证据能证明 explicit visual prediction 一定是 physical grounding 的必要条件，也没有证据说明哪种 coupling 机制在 downstream control 上最稳。

Limitations and open challenges. 作者列出七个核心问题：architectural coupling 还缺 matched-condition study；RGB-only future state 忽视 tactile/force/material compliance；data mixture 仍不知道 human video 的收益来自 semantic prior 还是 dynamics prior；long-horizon planning 会累积 prediction drift 与 action error；generative foresight 带来 latency tax，例如 DreamZero 推到约 7Hz 仍低于许多 non-generative VLA policy 的 50Hz 标准；evaluation 仍把 visual plausibility 与 task success 分开；真实部署中，错误的 imagined future 可能导致更长、更难中断的危险 action sequence。

Overall conclusion. 这篇 paper 的价值在于把 WAM 从“若干 video-generation robot policy 的集合”提升为 embodied AI 的一个统一范式：目标分布是 $p (o^{'}, a ∣ o, l)$ ，核心问题是 world-action coupling，长期瓶颈是 grounded multimodal state、data mixture、joint evaluation、real-time inference 与 safety verification。

Paper Notes

探索

World Action Models: The Next Frontier in Embodied AI

World Action Models: The Next Frontier in Embodied AI

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 形式化定义：从 action-only 到 world-action joint modeling

3.2 World Model 作为 VLA 的外部工具

3.3 Cascaded WAM：先想象世界，再提取动作

3.4 Joint WAM：在同一模型内联合预测未来与动作

3.5 数据生态：WAM 同时吃 action-labeled robot data 与 action-free world data

3.6 Evaluation：当前还没有真正 joint 的 WAM 指标

3.7 概念性伪代码：WAM 的 joint objective 与两类结构

3.8 Code-to-paper mapping

4. Experimental Setup (实验设置)

5. Experimental Results (实验结果)

目录