Agentic World Modeling: Foundations, Capabilities, Laws, and Beyond
Paper: arXiv:2604.22748 Code: matrix-agent/awesome-agentic-world-modeling Code reference:
main@986ea32a(2026-05-11) Homepage: agentic-world-modeling.xyz
1. Motivation (研究动机)
这篇文章的核心问题不是提出一个新的 World Model 训练算法,而是解决 Agentic AI 里“World Model”概念过载、评测错位、跨社区不可比较 的问题。论文指出,RL 社区常把 World Model 理解为可用于规划的状态转移模型,视觉/视频生成社区常关注时序一致的视频未来,Agent 社区关注 Web / GUI / social interaction 的环境模拟,AI for Science 则关注可被实验数据修正的 surrogate model。它们都在谈“世界模型”,但评测指标、失败模式和系统边界并不对齐。
现有方法的瓶颈主要有三类。第一,局部预测不等于可决策模拟:一个模型能做好下一帧、下一 token 或下一状态预测,并不保证多步 rollout 后仍保持对象、UI、社会承诺或科学因果链的一致性。第二,视觉真实不等于行动有效:FID、FVD、SSIM、重建误差等 perceptual metrics 可能看起来很好,却无法暴露 action-insensitive rollout、物理约束违背、GUI 状态机错误、社会角色漂移等会直接破坏 agent 决策的问题。第三,闭环使用不等于模型进化:很多 agent 会反思、重试或重新规划,但如果失败证据没有被诊断、蒸馏为持久资产并通过回归验证进入模型栈,就还不是论文定义的 L3。
Figure 2 解读:图中把已有综述分成 Embodied World Models、Generative World Models、Language Agents、AI for Science 四个簇。本文的位置在中心:它不是再按 modality 或 application domain 切分,而是把这些社区放到同一套 capability × law 坐标中,解释为什么同一个方法在一个社区被认为“会建模世界”,在另一个社区仍可能只是局部预测器。

Figure 1 解读:这张组织结构图显示论文的论证顺序:先在 §2 定义符号、capability 和 laws,再分别展开 L1 Predictor、L2 Simulator、L3 Evolver,最后讨论 evaluation、implementation 和 open problems。对阅读者最重要的是不要把 L1/L2/L3 当成三个互斥模型类型,而应理解为一个 agent 在不同任务需求下调用的能力层级。
论文想解决的具体目标是:给 Agentic World Modeling 一个可操作的分类和评测框架。它提出两条正交轴:能力层级 L1 Predictor / L2 Simulator / L3 Evolver,以及 governing-law regime physical / digital / social / scientific。论文用这套框架综合超过 400 篇工作,并整理超过 100 个代表性系统,试图把 model-based RL、video generation、Web/GUI agent、multi-agent social simulation 和 AI-driven scientific discovery 放到同一张地图中。
这个问题值得研究,因为 agent 从“生成文本”走向“持续交互完成目标”后,真正的瓶颈变成了环境动力学建模:机器人要预测接触和稳定性,GUI agent 要预测 DOM / 权限 / API 状态,社会 agent 要预测信念、承诺和规范,科学 agent 要预测实验结果并在证据失败时修正假设。没有共同语言,就无法判断一个模型究竟只是会预测、能否被 planner 用于多步决策,还是已经能根据新证据更新自身模型栈。
2. Idea (核心思想)
本文最核心的新意是把 World Model 从“某种模型架构”重新定义为 agent 在环境中可调用的能力层级:L1 负责局部转移预测,L2 把局部算子组合成受约束的多步 simulation,L3 在预测失败后把证据转化为持久、可验证的模型更新。第二条轴不是 modality,而是 rollout 必须遵守的 law:physical、digital、social、scientific 四类世界具有不同的约束、可观测性和失败模式。
Figure 3 解读:四个场景分别对应 Physical World、Digital World、Social World、Scientific World。图的关键不是例子本身,而是说明“世界”不是单一概念:物理世界重视几何、接触和守恒;数字世界重视 API、DOM、权限和状态机;社会世界重视信念、规范、角色和反身性;科学世界重视可证伪实验、仪器约束和因果链。
与传统 taxonomy 的根本差别在于,本文不按“video model / robot model / language agent / science agent”分桶,而按 模型查询能支持什么决策 来分层。比如 DreamerV3、TD-MPC2、Sora、Genie、CICERO、GraphCast、FunSearch、AlphaEvolve、A-Lab 这些系统看似跨度很大,但可以统一问三个问题:它是否只是预测下一步?是否能在给定动作序列和约束下产生可用于决策的 rollout?当 rollout 被证据推翻时,它是否会持久修改模型资产并通过验证门控?
Figure 5 解读:图把三层能力放在一条上升路径上:L1 是从 observation 中学习 regularities,L2 是 possible-world / counterfactual simulation,L3 是 evidence-driven revision。它解释了为什么 L2 不是“更大的 L1”:L2 的难点在 rollout composition 和 law constraints;也解释了为什么 L3 不是“带 planner 的 L2”:L3 的对象变成模型栈本身 。
3. Method (方法)
3.1 总体框架:levels × laws
论文的“方法”是一套形式化框架,而不是一个训练 pipeline。它把世界模型写成 agent 可查询的环境动力学表示:底层有 latent state 、observation 、action 、环境 transition 和 observation mechanism ;上层用 表示由局部模型组合得到的 trajectory-level distribution。最重要的 formal split 是:普通 one-step dynamics 写作 ;多步、受约束的 rollout 才写作 ,其中 是 governing-law constraint。

Figure 7 解读:蓝色虚线框是一条局部边上的 L1 Predictor,绿色虚线框是把多个 L1 transition 组合成 trajectory 的 L2 Simulator,红色虚线框则表示 L3 Evolver 会在 evidence 出现后执行 reflect,把模型栈从 更新到 。这张图是全文最重要的“架构图”:它把 latent chain、environment dynamics、observation、action 和 model revision 放在同一个 POMDP 图模型里。
直觉上,这个框架有效的原因是:agent 决策需要的不是“像真的未来”,而是“足够可靠、可干预、守约束的未来”。如果一个视频模型生成的画面很逼真但不随动作变化,它对 planning 没用;如果一个 GUI agent 的 rollout 看起来合理但违反权限或 DOM 状态机,它会选择不可执行动作;如果一个科学 surrogate 能拟合已有实验但不能在异常证据下修正假设,它无法支持 discovery。L1/L2/L3 把这些差异变成可检查的边界条件。
3.2 L1 Predictor:局部 Markov prediction
L1 的定义是局部预测算子,而不是完整世界模拟。论文把 L1 factorize 成最多四个组件: 它们分别对应 inference / filtering、forward dynamics、observation decoder、inverse dynamics。L1 的目标是 one-step 或 short fixed-horizon 的准确性;它可以用 VAE、CPC、SimCLR、V-JEPA、Dreamer、TD-MPC、IRIS、DIAMOND 等方法实现,但它不承诺多步 composition 后仍可用。
| L1 operator | Mapping | 作用 | 典型失败 |
|---|---|---|---|
| State inference | 把高维观测压缩为决策相关 latent belief | state aliasing、丢失 affordance | |
| Forward dynamics | 预测下一 latent state,是 L1 核心 | compounding error、uncalibrated uncertainty | |
| Observation decoding | 提供重建/生成式训练信号 | 视觉好但决策信息不足 | |
| Inverse dynamics | 反推动作,塑造 representation | action ambiguity、只学相关性 |
3.3 L2 Simulator:decision-usable multi-step simulation
L2 的问题不是“下一步是什么”,而是:给定初始 state 、候选动作序列 和约束 ,未来 trajectory 是否足够可靠,能让 planner 在真实执行前比较方案。形式上: 从 L1 到 L2 的关键是 law constraint 会跨步耦合整个 trajectory。论文给出概念式: 其中 是全轨迹的 governing-law compatibility term;硬约束 只是特例。也就是说,L2 distribution 不能被看成独立 one-step terms 的简单乘积,因为约束可能依赖整个 rollout。
L2 必须同时满足三个边界条件:
| Boundary condition | Physical | Digital | Social | Scientific |
|---|---|---|---|---|
| Long-horizon coherence | 多步操控中对象持久、接触稳定 | DOM / filesystem 在多步 UI/code interaction 中一致 | 多轮对话中的承诺和关系稳定 | 实验序列中的因果链有效 |
| Intervention sensitivity | 改变力/位置会按方向改变 grasp outcome | 注入 popup / timeout 会触发合理 replan | 改变一个 agent 的策略会改变谈判结果 | 参数变化会引起正确 measurement shift |
| Constraint consistency | 不穿模、守恒、运动学可行 | API contract、type constraint、state machine 合法 | norm compliance、belief consistency | 守恒律、causal graph、evidence chain 合法 |
Figure 8 解读:横轴表示 transition rules 的形式化和机械验证程度,纵轴表示 state / constraints 的可观测程度。Digital World 通常规则明确、可自动检查;Social World 规则和状态都更隐含;Physical World 约束强但 sim-to-real 和接触不稳定;Scientific World 有强理论约束但实验状态、仪器和证据链会限制观测。这说明 L2 评测不能只看一个统一 benchmark。
3.4 L3 Evolver:evidence-driven model revision
L3 把“使用世界模型”提升为“修改世界模型”。它要求系统不仅能做 simulation query,还能维护一个模型资产更新回路: 其中 是当前 world-modeling stack, 是来自部署的 evidence,例如 trajectories、errors、counterexamples、tests。论文进一步把完整闭环写成: L2→L3 的三个边界条件是:evidence-grounded diagnosis、persistent asset update、governed validation。也就是说,失败必须可回放并能归因;修复必须进入 reusable assets(规则、技能、parser、tests、参数或结构),而不是只作为当前 prompt 的临时补丁;更新必须通过 regression / robustness / rollback / canary gate 后才能默认启用。
Figure 9 解读:L3 的 design–execute–observe–reflect loop 与科学实践非常接近:系统主动设计实验来探测 epistemic gap,执行并收集 evidence,再把 anomaly 转成模型更新。图中“Information Entropy Reduction”和“Epistemic gap”强调 L3 不是 reward maximization 的别名,而是通过证据降低模型不确定性。
Figure 10 解读:四个 panel 展示 L3 在不同 law regime 中的具体形态:物理智能里是 contact dynamics / morphology 的自我建模,数字智能里是 evaluator-driven program search 和 regression gates,社会智能里是 norm drift 触发 social-model revision,科学智能里是自动实验平台根据 XRD 等证据修正 surrogate 或 hypothesis。
3.5 Capability dispatch:同一 agent 可以动态调用不同层级
论文强调 L1/L2/L3 不是静态分类标签,而是 runtime capability。一个 deployed agent 在低层 motor control 或 token generation 时可能只调用 L1;在需要比较 action sequence、做 counterfactual planning 或检查约束时提升到 L2;当系统性预测失败无法靠重新规划解决时,才进入 L3,把模型自身当成 revision target。
def dispatch_world_model(task, evidence, model_stack):
if task.requires_only_local_prediction():
return l1_predict(model_stack, task.current_state, task.next_action)
if task.requires_plan_comparison() or task.has_governing_constraints():
rollouts = l2_simulate(
model_stack,
z0=task.current_state,
action_sequences=task.candidate_plans,
constraint=task.governing_law,
)
if rollouts.satisfy_boundary_conditions():
return select_plan(rollouts)
if evidence.has_systematic_prediction_failures():
diagnosis = diagnose_failures(model_stack, evidence.replayable_traces)
update = distill_persistent_asset(diagnosis)
if validate_with_regression_gates(model_stack, update):
return promote_update(model_stack, update)
return request_more_evidence(task, model_stack)3.6 Evaluation protocol:从生成质量转向决策质量
论文主张评测单位应从 one-step prediction 或 perceptual realism 转向 trajectory-level rollout: 两个 aggregate metrics 直接连接 world-model quality 和 downstream decision: 其中 ASR 衡量“用该 world model 选出来的策略在真实环境中是否完成任务”。论文还提出 COD(Counterfactual Outcome Deviation)来度量 intervention sensitivity:比较从同一 出发、只在动作或初始条件上做反事实扰动的两个 rollout 终点差异,若 COD 很低,说明模型对 action change 不敏感,即使画面真实也不适合 planning。
def evaluate_l2_rollout(world_model, benchmark, constraint):
scores = []
for episode in benchmark.episodes:
z0 = world_model.infer_state(episode.history)
candidate_plans = episode.generate_candidate_action_sequences()
rollouts = [world_model.rollout(z0, plan, constraint) for plan in candidate_plans]
coherence = measure_long_horizon_degradation(rollouts)
sensitivity = measure_counterfactual_divergence(world_model, z0, candidate_plans)
consistency = check_governing_law_violations(rollouts, constraint)
chosen_plan = planner_selects_action(rollouts, coherence, sensitivity, consistency)
asr = benchmark.execute_and_score(chosen_plan)
scores.append({"ASR": asr, "coherence": coherence, "COD": sensitivity, "validity": consistency})
return aggregate_with_tail_statistics(scores)3.7 Released repo / code inspection
Code reference:
main@986ea32a(2026-05-11) — pseudocode and mapping based on this commit
公开仓库是论文的 companion website、awesome-list 和 contribution workflow,并不是模型训练实现;未发现训练脚本、loss implementation 或实验 launch config。因此本笔记没有从仓库报告任何训练 hyperparameter。仓库仍然有可复现锚点:src/data.ts 固化 paper metadata、statistics、levels 和 regimes;skills/add-paper/SKILL.md 把论文 taxonomy 变成 issue submission contract;scripts/paper-agent.cjs / .github/workflows/paper-format.yml 把结构化 awwm-paper block 插入 README。
| Paper Concept | Source File | Key Class/Function |
|---|---|---|
| Paper metadata, 400+ works, 100+ systems, 3 levels, 4 regimes | src/data.ts | PAPER_TITLE, PAPER_URL, STATS, LEVELS, REGIMES |
| Companion web presentation | src/main.ts, src/pretext-render.ts, src/style.css | site rendering and visual intro assets |
| Taxonomy contract for new papers | skills/add-paper/SKILL.md | Axis 1 L1/L2/L3, Axis 2 Physical/Digital/Social/Scientific, composition rule |
| Automatic README insertion | scripts/paper-agent.cjs | normalizeSubmission, ensureValidSubmission, renderEntry, insertEntry, applySubmission |
| CI workflow for paper-format submissions | .github/workflows/paper-format.yml | parses issue body / submission and opens formatted updates |
| Frozen paper copy in repo | paper.pdf | companion PDF matching the arXiv paper surface |
def normalize_awwm_submission(raw):
arxiv_id = extract_arxiv_id(raw.get("arxiv_id") or raw.get("paper_url"))
paper_url = canonical_arxiv_url(arxiv_id) if arxiv_id else normalize_url(raw["paper_url"])
section = normalize_section(raw.get("section"), raw.get("subsection"))
ensure_valid_section_pair(section) # L1 operator-family, L2/L3/Benchmark law-regime pairs
return {
"section": section,
"title": normalize_whitespace(raw["title"]),
"paper_url": paper_url,
"venue": raw.get("venue", "arXiv"),
"year": int(raw["year"]),
"summary": summary_from_abstract(raw),
"code_url": normalize_url(raw.get("code_url")),
"homepage_url": normalize_url(raw.get("homepage_url")),
}
def apply_awwm_submission(readme, submission):
item = normalize_awwm_submission(submission)
if has_paper_entry(readme, item["paper_url"]):
return {"skipped": True, "reason": "README already contains paper"}
entry = render_markdown_entry_with_badges(item)
return insert_entry_under_taxonomy_heading(readme, item["section"], entry)论文公式与 released code 实现差异:本仓库不是算法实现仓库,没有 released training code 与论文公式逐行对应;因此未发现“论文公式 vs released code loss / sampling path”这类可比差异。可确认的差异是 scope difference:论文给出 conceptual framework 和评测协议,仓库实现的是 companion website、awesome list 和 paper submission automation。
4. Experimental Setup (实验设置)
这是一篇 position-driven survey / taxonomy paper,没有训练新模型,也没有一个可复现实验 launch script。因此“实验设置”应理解为文献综合、benchmark coverage analysis 和 evaluation protocol design,而不是常规 supervised / RL training setup。
数据与规模。 论文称综合超过 400 篇工作,并整理超过 100 个 representative systems。仓库 src/data.ts 的 companion website 统计也固定为 400+ Cited Works、100+ Representative Systems、3 Capability Levels、4 Governing Regimes。L2/L3 和 evaluation 部分覆盖的系统横跨 model-based RL、video generation、Web/GUI agent、multi-agent social simulation、AI-driven scientific discovery。
代表性 benchmark anchors。 论文按 governing-law regime 给出 compact anchors:
| Regime | Benchmarks / datasets | Scale / metric |
|---|---|---|
| Physical | Atari 100k, Meta-World, CALVIN, RoboCasa, nuScenes | Atari 100k 覆盖 26 games / 100k steps;Meta-World 有 50 manipulation tasks;CALVIN 有 24 hours teleoperated play data 和 20K language directives;nuScenes 有 1000 scenes、mAP / NDS |
| Digital | OSWorld, SWE-bench, WebArena, Mind2Web, AppAgent, AndroidWorld | task success、resolve rate、web / GUI interaction success |
| Social | ToMi, BigToM, OpenToM, Sotopia, AgentBench, Werewolf / Avalon | false-belief accuracy、belief accuracy、social score、role/norm compliance |
| Scientific | ScienceWorld, DiscoveryBench, ChemCrow, FutureX | task completion、hypothesis accuracy、validity under evidence constraints |
Baseline methods. 论文不是统一实验比较,因此没有单一 baseline table;它用代表性系统作为 anchors。例如 L1 包含 VAE / VQ-VAE / CPC / SimCLR / MoCo / V-JEPA / Dreamer / TD-MPC / IRIS / DIAMOND;L2 包含 MuZero、DreamerV3、TD-MPC2、Sora、Genie、CICERO、GraphCast、WebWorld、NeuralGCM 等;L3 包含 AdaptSim、Self-Modeling、FunSearch、AlphaEvolve、CodeIt、SWE-agent、A-Lab、CAMEO、BacterAI、AI Scientist v2 等。
Evaluation metrics. 论文主张用三类 boundary condition 组织评测:long-horizon coherence、intervention sensitivity、constraint consistency。常见指标包括 ASR、COD、task success、resolve rate、success cliff by horizon、constraint violation count、regime-specific validity check、tail statistics(stratified bootstrap confidence interval、IQM、performance profile)。作者还提出 MREP(Minimal Reproducible Evaluation Package):version locking、trace logs、failure taxonomy、tail statistics、boundary condition mapping。
Training config / hardware / hyperparameters. 论文未训练新模型,released repo 也不是训练代码;没有 GPU type/count、LR、batch size、training steps 这类 launch config。Table 12 给的是 deployment latency budget,而非测得 throughput:real-time robotics <100 ms,autonomous driving <200 ms,embodied navigation 100–500 ms,Web/GUI agents 约 1–5 s,offline scientific planning 可到 minutes 级。
5. Experimental Results (实验结果)
本文的“结果”是 taxonomy-driven findings,而不是一个新模型的 SOTA 数字。最重要的实证结论是:只看感知质量或 one-step prediction 会系统性高估 world model 的 agentic usefulness;跨 regime 的失败模式不同,因此必须把 evaluation protocol 明确映射到 L1/L2/L3 与 governing law。
Figure 4 解读:timeline 放了 2018–2026 的 70 个 survey anchors,每个 year–level cell 最多 5 个系统。它显示 L1/L2/L3 不是线性替代关系:L1 表示 one-step dynamics,L2 表示 decision-usable rollout,L3 表示 evidence-driven revision;很多所谓 agentic systems 仍主要落在 L1/L2,而完整 L3 只在少数 well-instrumented scientific 或 regression-gated digital domains 中更接近成立。

Figure 6 解读:历史图把 world modeling 放在 Mathematical Principles、Symbolic Intelligence、Connectionist Resurgence、Generative Revolution 四个阶段中。作者借此说明:好的 world model representation 不应绑定某一种实现形态;符号、latent、3D structured state、programmatic state 都可能承载世界模型,关键是它能支持何种 decision query 和 revision loop。
Benchmark coverage findings. Table 10 显示同一个 benchmark 可覆盖不同 capability level,但 L3 coverage 明显稀缺:Atari 100k、Meta-World、CALVIN、RoboCasa、nuScenes、OSWorld、WebArena、Sotopia、ScienceWorld 多数覆盖 L1/L2 而不覆盖 L3;SWE-bench 和 DiscoveryBench 被标为同时覆盖 L1/L2/L3,因为它们能通过 resolve / hypothesis verification 与执行反馈部分评估可持久修正的能力。论文还指出 WorldModelBench 覆盖 7 domains、56 subdomains、350 prompts 和 67K human labels,并发现 14 个 frontier models 在 constraint consistency 上普遍有缺口。
Ablation-style insight / component importance. 由于不是单一模型,论文没有传统 ablation 数字;但它给出的是“概念消融”:如果只有 L1,没有 multi-step coherence,planner 会受 compounding error 误导;如果 L2 缺少 intervention sensitivity,模型会生成看似合理但不随行动改变的未来;如果 L2 缺少 constraint consistency,rollout 会违反物理、API、社会规范或科学因果链;如果 L3 缺少 persistent asset update 和 governed validation,所谓 self-improvement 只是 prompt-level retry,不是模型进化。
Cross-domain findings. Physical regime 的主要瓶颈是 contact instability、drift、sim-to-real gap;Digital regime 的主要瓶颈是 API contract、UI state、race condition 和 permission consistency;Social regime 的主要瓶颈是 hidden mental states、role drift、goal forgetting 和 norm ambiguity;Scientific regime 的主要瓶颈是 hallucinated mechanisms、calibration、instrument/data budget 和 evidence-chain validity。Table 13 把这些差异进一步转成设计 roadmap:Physical L2 倾向 3D / object-centric state 与 latent MBRL / neural ODE rollout;Digital L3 依赖 versioned tests / execution traces 与 regression-gated updates;Scientific L3 依赖 protocol、surrogate model 和 active Bayesian learning。
Limitations / open problems. 作者明确指出 L3 不是终点。真正困难的问题包括:可验证的 long-horizon rollout、可解释的 intervention sensitivity、跨 law regime 的 compositional benchmarks、从 transient reflection 到 persistent model update 的安全门控、社会模型中的伦理和归因、科学模型中的稀缺实验预算,以及“laws themselves evolve”时如何学习 meta-transition operator。MREP 也只是最小报告标准,无法替代真正覆盖全部 boundary conditions 的 benchmark。
Overall conclusion. 论文的贡献在于把 World Model 从“生成未来”推进到“支持 agent 决策并在证据失败时修正自身”的路线图。L1 解决局部预测,L2 解决受约束的多步 simulation,L3 解决模型栈的证据驱动进化;四类 law regime 则提醒我们,世界模型的失败不只是数值误差,而是约束、可观测性和验证机制的错配。