DeepVerse: 4D Autoregressive Video Generation as a World Model

Paper: arXiv:2506.01103 Code: SOTAMak1r/DeepVerse Code reference: main @ 59d300b3 (2025-08-11)

1. Motivation (研究动机)

DeepVerse 的核心问题不是“如何把视频生成得更长”，而是“当视频生成被当作 World Model 使用时，模型如何在长时交互中记住世界的几何状态”。论文把 World Model 定义为智能体用于预测未来状态、评估动作、在动态环境中规划的基础模块；如果模型只把世界看成 RGB 观测序列，它学到的是二维投影的外观流，而不是支撑这些投影的三维空间、相机位姿、深度与物体关系。这样的视觉中心式模型在短视频生成里可能看起来合理，但一旦进入 online interactive simulation，误差会被 autoregressive rollout 放大：相机移动后尺度变得不确定，场景边界和遮挡关系逐渐漂移，曾经出现过的空间结构被固定长度上下文截断，最终表现为 forgetting、temporal inconsistency 和 scene irrationality。

作者指出，已有 online world model / game simulator 一类方法多把历史帧压缩进 Transformer 可接受的上下文长度，例如通过固定长度 memory 或视觉帧 packing 来缓解上下文不足；这类方法的隐含假设是“只要历史 RGB 足够压缩，就能恢复状态”。DeepVerse 反对这一点：视频帧本身是动态 3D/4D 世界的 2D projection，纯视觉历史缺少隐藏状态中的几何约束，因此在 POMDP 设定下不是 Markov state。尤其是在自由视角探索中，单张图像存在 scale ambiguity；模型如果没有 depth / camera pose 这类显式几何变量，只能从训练集先验里猜尺度，长序列 roll out 时就容易把道路、房屋、人物位置关系生成到互相矛盾的状态。

Figure 1 解读：DeepVerse 把单张输入图像扩展成可交互的 4D future prediction。图中的重点不是单纯生成 RGB，而是同时维护 spatial layout 与 temporal dynamics：随着 action / text control 推动未来状态，系统持续生成 RGB、depth、camera/viewpoint 相关几何表示，并把这些状态写回全局 memory。这样做的目标是让生成过程从“拼接下一段视频”变成“在一个可持续更新的几何世界中预测下一段 4D observation”。

这篇论文的动机可以拆成三个层次。第一，World Model 的输出应当接近环境 state，而不是只有 observation；DeepVerse 用 ${\hat{s}}_t=(v_t,g_t)$ 作为操作上的 state representation，其中 $v_t$ 是 RGB observation，$g_t$ 是几何信息。第二，长时生成需要解决非 Markov 观测导致的 drift；因此模型不仅看当前状态和最近 $m$ 个状态，还要通过几何相关性从更早历史中检索一个 spatial condition。第三，交互控制不能过度依赖特定游戏手柄或 simulator API；DeepVerse 把动作映射成 textual condition，使控制信号可以来自自然语言，也可以来自离散动作到文本的转换。

这也解释了它在 taxonomy 中应归入 World Model / Long-Horizon Generation：论文的主要贡献不是单个视频生成器、3D reconstruction 或 dataset，而是一个面向长时交互的 4D autoregressive world modeling framework。它的实验和开源代码都围绕“从初始图像开始持续预测未来 4D 状态”，并用 depth、raymap、spatial memory、long-duration inference 共同抑制长序列漂移。

2. Idea (核心思想)

DeepVerse 的基本想法是：把 autoregressive video generation 的 token stream 升级为 4D state stream，并让每一步预测显式依赖几何。论文用如下条件分布概括任务： $f_{\theta }=P\left({\hat{s}}_{t+1:t+k}\mid a_t,{\hat{s}}_t,{\hat{s}}_{t-m:t-1},\psi ({\hat{s}}_{0:t-m-1})\right).$ 这里 ${\hat{s}}_t=(v_t,g_t)$，$a_t$ 是当前 action / textual control，${\hat{s}}_{t-m:t-1}$ 是最近历史，$\psi ({\hat{s}}_{0:t-m-1})$ 是从更早 memory 中检索出的几何相关状态。这个式子体现了论文最重要的差异：它并不把长上下文问题简化为“尽量塞更多历史帧”，而是把历史分成两类：短期 recent history 负责局部运动连续性，长期 memory 负责空间回环和结构一致性。检索条件不是语义相似度，而是 camera pose 的 translation / rotation 几何邻近性。

Figure 2 解读：pipeline 中输入包含三部分：连续 $m$ 个 4D observations、从 global memory pool 检索出的 spatial condition、textual control signals。模型输出 $k$ 个 temporally coherent 4D future observations，并将输出继续写入 memory。这个 read-generate-save 闭环是 DeepVerse 区别于普通 image-to-video / video extension 的关键：每次生成既消耗世界记忆，也更新世界记忆。

为了让这个思想可实现，DeepVerse 采用三项设计。其一是 4D Representation：每个 timestep 不只有 RGB，还包含 depth 和 viewpoint。深度用 $\sqrt{1/d_t}$ 形式的 disparity 进入已有 VAE；viewpoint 用 raymap 表示，每个像素包含 ray direction 和 ray origin，共 6 个几何通道。其二是 token-wise concatenation MM-DiT：历史和 noisy latent 各自 patchify 成 token，然后在 token dimension 上拼接，而不是把历史直接堆在 channel dimension；这样虽然 FLOPs 更高，但能显著减轻长序列下的错误累积。其三是 geometry-aware memory：memory 中的历史 4D 状态与初始帧坐标系对齐，当前位姿先找 translation 最接近的候选，再选 rotation angle 最小者作为 spatial condition。

直觉上，DeepVerse 把“视频帧之间的外观连续性”替换为“世界坐标系中的状态连续性”。当摄像机后退、转向或绕场景移动时，RGB 看起来可能变化很大，但相机位姿和深度约束可以告诉模型哪些历史区域仍与当前视角相邻，哪些结构应该重新出现。这样，模型的 memory retrieval 不再依赖一个模糊的视觉 embedding，而是利用被预测并维护的几何状态来做检索。

3. Method (方法)

3.1 Problem formulation：从 POMDP 观测到 4D state representation

论文从 MDP 的状态转移 $P(s_{t+1}\mid a_t,s_t)$ 出发，但强调真实环境往往是 POMDP：智能体只能看到 $v_t$，看不到完整 $s_t$。已有 Genie / GameNGen / Oasis 类工作通常直接用 visual observation $v_t$ 作为状态代理；DeepVerse 认为这个代理太弱，所以定义： ${\hat{s}}_t=(v_t,g_t),$ 其中 $g_t$ 包含 camera viewpoint $c_t$ 和 depth $d_t$。${\hat{s}}_t$ 仍然不是完整真实世界状态，因此论文谨慎地称它为 “state representation”，但它比 RGB 更接近隐藏状态：RGB 负责外观，depth 负责局部 3D 结构，viewpoint 负责相机在全局坐标系中的位置和朝向。多个 ${\hat{s}}_t$ 连在一起就是 3D space + time 的 4D stream。

这个建模直接服务于 long-horizon generation。若只用 $P(v_{t+1:t+k}\mid v_{0:t})$，模型面对尺度变化、遮挡和回环时很难判断“同一个物体/建筑是否应该在这个视角重新出现”。若使用 $P({\hat{s}}_{t+1:t+k}\mid \cdots )$，模型能在生成未来 RGB 的同时预测未来几何，并把几何写回 memory，后续步骤再利用它。

3.2 4D Representation：RGB + depth + raymap

DeepVerse 的 $g_t$ 不是直接把完整 3D point cloud 喂给 Transformer，而是将 3D coordinate 分解为 depth 与 viewpoint。每个 $g$ 是与输入图像同分辨率的 tensor，理论上每个像素存储一个 3D coordinate。借鉴 Aether，论文把深度参数化为 square-root disparity： $e_t=\sqrt{1/d_t}.$ 这么做的原因是 depth 可以由预训练 VAE 编码，不需要为几何重新训练一个完全独立的 encoder；同时 disparity 比原始 depth 在远近变化上更适合压缩。viewpoint 则采用 raymap：每个像素从相机光心发射一条 ray，raymap 的 6 个通道中 3 个表示 ray origin（相机位置），3 个表示单位 ray direction。raymap 既保留图像空间对应关系，又能通过恢复算法反推出 intrinsic / extrinsic camera parameters。

Figure 3 解读：单图推断 3D 环境天然存在 scale ambiguity；若没有 3D priors，视角外推会变成纯数据先验猜测。图中还说明 perspective change 可以从 camera pose variation 自动转成文本描述，这支撑了 DeepVerse 用 textual condition 代替专用 controller modality 的设计。

最终 $\hat{s}$ 通过 channel-wise concatenation 把 RGB / depth / raymap 三类模态合并成一个可进入 video generation latent pipeline 的结构。这里需要注意：论文在“4D state representation”的概念层面说 channel-wise concatenation，但在最终 MM-DiT architecture 中，history 注入方式采用 token-wise concatenation；前者是模态构造，后者是 Transformer 输入结构，两者不是矛盾。

3.3 General Control：动作转文本，而不是新增 controller 模态

DeepVerse 没有像某些 game world model 那样把手柄控制或 simulator action 作为专门模态随数据采集并行记录。作者给出的理由有两个。第一，模型继承了 SD3 / Pyramid-Flow 等预训练生成模型能力，新增专用动作模态会破坏或削弱已有 text-conditioned prior。第二，文本控制更通用：实际应用里可以直接把自然语言输入给模型，也可以把离散 controller key 映射成固定文本。例如开源 README 中支持 --prompt_type action，将 (FN)(fLN)(FR) 这样的 translation + steering 序列转成动作文本；也支持 --prompt_type text 直接输入 “The car is driving slowly in the direction of the road”。

数据标注上，作者先用精确 camera positional data 直接构造相机移动/旋转描述；随后用 Qwen-VL 给视频片段生成 caption：egocentric video 生成第一人称视角变化描述，exocentric recording 生成第三人称人物动作描述。caption embeddings 使用 CLIP 与 T5，整体与 SD3 的文本条件处理保持一致。这让 DeepVerse 的控制形式与现代 text-to-video / diffusion transformer 生态兼容。

3.4 Spatial condition 与 memory retrieval

DeepVerse 维护一个 memory pool，存储所有历史 observations，并把它们对齐到初始 observation 定义的坐标系中。当前 state 的 camera pose 会触发选择机制 $\psi$，从历史中找一个最相关的 state 作为 spatial condition。论文给出的选择规则是： $ \psi(\hat{s}{t}\Vert{\hat{s}{t-1},\cdots,\hat{s}_0})

\underset{j\in S}{\arg\min}\angle(R_t,R_j), \quad S=\underset{i\in{t-1,\cdots,0}}{\arg\min^{(k)}}(T_t-T_i)^2. $其中$R$和$T$分别是viewpoint$c$中的rotation与translation。也就是说，先按translation找top-$k$ 近邻，再在这些近邻中找 rotation angle 最小者。这个规则很朴素，但与任务匹配：如果当前相机位置接近历史某个位置，而且朝向也接近，那么历史 observation 更可能包含当前视角需要保持一致的空间内容。

Figure 7 解读：spatial condition 的作用是让固定长度 video chunk 之外的历史结构还能被召回。它不是把所有历史都送入 Transformer，而是在 geometry-aligned memory 中选择一个与当前 pose 最相关的 reference，使长时生成能保留空间连续性。

3.5 Dataset construction 与 preprocess

论文的数据构造分两步。首先收集约 10M frames 的 gameplay footage，并使用 ReShade 去除 UI 元素；随后基于 Aether 的 automatic camera annotation pipeline 合成带有精确 intrinsic / extrinsic camera parameters、depth maps 和 high-fidelity synthetic images 的数据。camera parameters 还用于过滤污染样本。为了支持交互，作者实现层级标注：video clip level 的文本标签加上更细粒度 frame chunk 的 motion-specific label。

过滤标准主要服务于 3D VAE 和 autoregressive stability。过大的 camera rotation 或快速视角切换会降低 VAE encode-decode reconstruction quality，因此 DeepVerse 以 VAE temporal compression ratio 作为 chunk size，要求每个 chunk 的累计 rotation angle 低于阈值 ${\delta }_{rot}$。同时，几乎没有相机/角色运动的 clips 会按 extrinsic parameter 计算 displacement，并用阈值 ${\delta }_{move}$ 过滤掉，因为这类数据对交互式未来预测贡献有限。

训练 preprocess 中，作者对视频 clip 做基于 scene dimensions 的 global scene scaling。为了把 depth $d_i$ 缩放到 VAE 可编码范围，同时保留 autoregressive causality，整段 $d_i$ 用 $d_{max}\times \lambda$ 归一化。这样初始帧的 depth 范围会被映射到 $(0,\lambda ]\subseteq [0,1]$，为后续帧可能超过初始 $d_{max}$ 的 depth 留出空间，避免重缩放到 VAE 输入域时发生 truncation artifacts。

3.6 Architecture：从 channel-wise 到 token-wise 的选择

DeepVerse 比较了两种 MM-DiT-based history injection。Model 1 是 channel-wise concatenation：历史状态和 noisy latent 在 channel 维拼接，patchify 后送入 Transformer。这种设计 token 数少，FLOPs 较低，类似 GameNGen 在 DOOM 场景中的做法。Model 2 是 token-wise concatenation：不同 timestep 的 latent 先分别 patchify，生成不同 token，再在 token sequence dimension 上拼接。这会显著增加 token 数，因此需要 3D VAE 在 temporal dimension 上压缩，但它保留了更清晰的时间结构。

Figure 8 解读：最终结构采用 token-wise concatenation。noised latent 与 recent history 经过相同 patchify；spatial condition 独立 patchify；T5 和 CLIP 的 token embeddings 进入上下文序列，pooled embedding 通过 AdaLN 注入；MM-DiT 使用 RMSNorm 做 QK normalization，最后由 linear projection 还原到 noise latent 形状。

训练实现细节：两个比较模型都维持 2B 参数规模，用 FSDP + ZeRO-2 提升训练效率。Model 1 从 SD3-medium 初始化，Model 2 从 Pyramid-Flow 初始化。Model 1 最终采用 7 个历史帧 + 1 个 noise frame 的配置，因为过多历史拼接没有继续提升；Model 2 遵循 Pyramid-Flow 的 57-frame protocol，并使用专用 3D VAE 做 $8\times$ temporal compression。所有训练视频被 bicubic interpolation 标准化到 384p，再 center-crop 成 $4:3$，同时调整 camera intrinsics。Model 1 因 token 更少可用 global batch size 512，Model 2 为 256。优化器为 AdamW，learning rate schedule 为 cosine annealing，前 1% iterations 做 linear warmup，训练在 NVIDIA A100 GPUs 上完成。

架构参数来自 appendix：24 layers，model dimension 1536，24 attention heads，head dimension 64，spatial position embedding 为 sincos，temporal position embedding 为 RoPE，patch size 为 $2\times 2$。

3.7 Compact 4D representation 与 training target

最终 3D VAE 在 sequence dimension 上的 temporal compression ratio 是 8，因此一次 latent 单元可以覆盖 8 个未来 observations。image 和 depth 都通过 3D VAE 编成 16 latent channels；raymap 却不适合直接用同一 VAE 压缩。直接保留每个 8-step 的 raymap 会导致 $16+16+6\times 8=80$ channels，其中大多数来自 raymap，计算和 memory 都太重。DeepVerse 的 keyframe optimization 只保留每个 8-step sequence 的最终 observation 的完整 raymap（6 channels），中间帧的 raymap 通过相邻 keyframes linear interpolation 生成，从而把输入维度降到 $16+16+6=38$ channels。

Figure 9 解读：由于输入只有单张 RGB image $v_0$，它不是完整 4D state。DeepVerse 在训练中先预测该 timestep 的完整 $(v_0,g_0)$，再用这个完成后的 4D representation 替换原本不完整的输入，以匹配 inference 阶段的流程。这个设计降低 train-inference mismatch。

Classifier-Free Guidance 也被扩展到多条件。训练时，text condition $c_T$ 以 10% 概率 dropout，spatial condition $c_S$ 以 50% 概率 dropout。推理时采用类似 InstructPix2Pix 的多模态 guidance： $\begin{array}{rl}{e}_{\theta }(z_t,c_T,c_S)=& e_{\theta }(z_t,\varnothing ,\varnothing )+s_T(e_{\theta }(z_t,c_T,\varnothing )-e_{\theta }(z_t,\varnothing ,\varnothing ))\\ & +s_S(e_{\theta }(z_t,c_T,c_S)-e_{\theta }(z_t,c_T,\varnothing )).\end{array}$ 论文中 text condition guidance scale 为 4，spatial condition guidance scale 为 5。开源 inference config 中另有工程默认值：video_guidance_scale=3.5、history_guidance_scale=6.0、max_temporal_length=8、stages=[1,2,4]、num_inference_steps=5，这些来自 run.py 的 create_model_config，用于 released inference pipeline，不应与论文训练超参混淆。

3.8 Long-duration inference

Figure 10 解读：训练分布只覆盖固定窗口，但推理必须不断延长。DeepVerse 在 cache 达到 training video clip 最大长度后，把 cache 中 observations 用保存的 $d_{max}$ rescale，利用预测 camera parameters 对齐到 global coordinate system，再写入 memory。下一轮取最近 $m$ 个 observations 作为 recent history，并继续从 memory 中检索 spatial condition。

伪代码（根据论文算法和开源 pipeline.py 的 inference loop 整理）：

M = {complete_4d_state(v0, zero_depth, zero_pose)}
C = []
while user_keeps_interacting:
    C = recent(M)
    C = scale_cache_with_window_dmax(C)
    while len(C) < CacheMaxSize:
        s_spatial = psi(current_pose(C), M)
        action_or_text = read_control()
        s_next = f_theta(action_or_text, C, s_spatial)
        C.append(s_next)
    C = rescale_cache_to_global_coordinates(C)
    M.update(C)

代码中这个流程更工程化：generate_i2v 每轮生成 RGB、disparity、trans3d、trans2d；输出帧会被转换回 PIL image 作为下一轮输入，disparity 重新按 scale factor 归一化为 $\sqrt{d}$ 形式，camera transforms 会先相对化再生成 raymap。为了选 spatial history，代码计算所有历史 camera positions 到当前 camera position 的距离，取最近 5 个，再用 forward direction 的夹角选最小者，这与论文的 translation top-$k$ + rotation angle 规则一致。

3.9 Source code search and code-to-paper mapping

代码搜索已找到公开实现：SOTAMak1r/DeepVerse。本笔记锚定 main@59d300b3 (2025-08-11)。该仓库主要是 released inference implementation、demo assets、model definitions 与 weights 下载说明；没有完整训练 loop / data pipeline release。因此训练细节以上文论文正文与 appendix 为准，代码映射主要验证 inference、raymap、VAE、MM-DiT 与 guidance。

Code reference for mapping: main@59d300b3 (2025-08-11)

Paper Concept	Source File	Key Class/Function
Raymap generation / camera parameter recovery	pipeline.py	get_raymap_from_camera_parameters, raymap_to_trans_matrix
RGB + depth VAE latent construction and raymap normalization	pipeline.py	InferencePipeline.get_history_vae_latent
Long-duration autoregressive rollout and spatial memory retrieval	pipeline.py	InferencePipeline.generate, InferencePipeline.generate_i2v
Flow-matching denoising with text/history guidance	pipeline.py, model/scheduler.py	InferencePipeline.generate_one_unit, PyramidFlowMatchEulerDiscreteScheduler
MM-DiT token/history conditioning	model/mmdit.py	MMDiT.forward, PatchEmbed3D, JointTransformerBlock
3D causal VAE for temporal compression	model/vae.py	CausalVideoVAE, CausalVaeEncoder, CausalVaeDecoder
Released inference config and action/text interface	run.py, README.md	create_model_config, main, prepare_input_data

开源 README 还给出 deployment numbers：单张 NVIDIA A800 上 inference speed 约 4 FPS，保存视频为 20 FPS，最大 GPU memory usage 约 17GB；可用 --add_depth 保存 depth video，可用 --add_ply 以默认 8-frame interval 保存 point clouds，并随机降采样到原 point count 的 1/10 以减小 PLY 文件。README 中 --no_need_depth 被推荐用于 non-3A game images 的 OOD action control，理由是 DeepVerse1.1 的训练集混入了一些没有 geometry labels 的 real-world videos；这提示实际使用时 depth 约束并非所有域都稳定。

4. Experimental Setup (实验设置)

实验围绕三件事展开：history injection architecture 的选择、depth modality 的必要性、以及 spatial memory / long-duration prediction 的 qualitative simulation quality。由于 DeepVerse 是 autoregressive world model，论文没有只报告单帧 image metrics，而是重点看 frame horizon 扩大后的一致性下降速度。

第一组实验比较两种 MM-DiT 架构。Model 1 使用 channel-wise concatenation，Model 2 使用 token-wise concatenation。两者参数规模相同（2B），但初始化不同：Model 1 使用 SD3-medium pretrained weights，Model 2 使用 Pyramid-Flow initialization。Model 1 因 token 较少，global batch size 为 512；Model 2 batch size 为 256。两者都使用 FSDP + ZeRO-2、AdamW、cosine annealing、前 1% warmup、A100 GPUs。评估在 32、64、96、128 generated frames 上进行，指标来自 VBench 的六个维度：subject consistency、background consistency、aesthetic quality、imaging quality、motion smoothness、dynamic degree。

第二组实验 ablate depth modality。对照模型保留 raymap-based camera representation，但移除 depth。为了公平，论文声明对应模型使用相同 training methodology、dataset 与 corresponding layers 的 initialization parameters。评估指标包括 FVD 与 VBench。FVD 使用 Kinetics-400 RGB frame data 上预训练的 I3D network 提取 video feature，再计算真实/生成视频分布的 Fréchet distance： $\mathrm{FVD}=\Vert {\mu }_r-{\mu }_g{\Vert }^2+\mathrm{Tr}({\Sigma }_r+{\Sigma }_g-2({\Sigma }_r{\Sigma }_g{)}^{1/2}).$ 第三组是 simulation quality 和 long-duration inference。输入只使用 initial visual observations，包括 game images、real-world images 和由 Dreamina text-to-image model 生成的 AI images。控制可以是 natural language，也可以是 human/controller manipulation 投影成 textual condition。实验关注模型是否能同时保持 viewpoint-object dynamics、environmental interactions、RGB fidelity 与 4D representation consistency。

训练数据与资源方面，appendix 给出更具体数字：经过 annotation/filtering 后，视频被划分为约 30,000 个 non-overlapping video splits，每个 split 最长 400 frames；训练时采样连续 57-frame clips，最终 curated dataset 约 1.5M video clips。为了 autoregressive training 稳定，GPU 被按 8 个一组分组，这与 57-frame sequence 经 3D VAE 后 latent temporal length 为 8 对齐。最终模型训练 2 epochs，约消耗 23,000 A100 GPU hours。

5. Experimental Results (实验结果)

Figure 4 解读：左侧展示两种 history injection：Model 1 把 history 与 noised latent 合到 channel 里，Model 2 把二者分别 patchify 后在 token sequence 里合并。右侧 VBench 曲线显示 Model 2 在 subject consistency、background consistency、aesthetic quality、imaging quality、motion smoothness、dynamic degree 上总体更优，尤其随着 frames 从 32 增至 128，Model 1 的 subject/background/imaging/aesthetic 下降更快。虽然 Model 2 的 average GFLOPs 为 1280.9，高于 Model 1 的 1049.4，但它更能抑制 autoregressive drift。

这个结果支持论文的一个重要判断：channel-wise concatenation 在 DOOM 之类相对受限的场景中可能可行，但对 large-scale multimodal domains 和 extended scenarios，直接把 temporal features 聚合到单个 token 的 channel 里会加剧 error accumulation。token-wise concatenation 代价更高，却把不同 timestep 的信息作为不同 token 显式保留，Transformer 更容易学习 temporal dependency 与条件选择。

Figure 5 解读：depth modality 对长时预测非常关键。左侧曲线中，with-depth 模型在 32 到 120 frames 的 FVD 上始终低于 without-depth；background consistency 也随 horizon 扩大保持更高。右侧 qualitative examples 中，无 depth 的模型更容易在移动后把画面推向遮挡、暗部或错误空间结构；with-depth 能输出对应 depth map，并在村庄、城市等场景中维持更合理的前后关系。

Table 1 的 VBench 数字更具体。60 frames 时，w/ depth 在 subject consistency / background consistency / aesthetic quality / imaging quality / motion smoothness / dynamic degree 上分别为 0.86939 / 0.92617 / 0.53415 / 0.48844 / 0.99032 / 1.00000；w/o depth 为 0.83602 / 0.91899 / 0.49106 / 0.43774 / 0.98975 / 1.00000。120 frames 时，w/ depth 为 0.81652 / 0.91087 / 0.50028 / 0.44639 / 0.99147 / 1.00000；w/o depth 为 0.76812 / 0.89650 / 0.44095 / 0.37975 / 0.99062 / 1.00000。dynamic degree 两者都为 1.0，因此主要收益不是“动得更多”，而是 subject/background/imaging/aesthetic 等与结构一致性和视觉质量有关的指标更稳定。

Figure 6 解读：qualitative results 展示 DeepVerse 从 game / real / AI-generated images 出发进行未来预测。论文强调模型不是 reconstruction-then-rerendering：它在预测 future frames 的同时维护 4D representation，因此 viewpoint-object dynamics 与 environmental interactions 可以共同变化。对实际应用而言，这意味着它更接近 interactive simulator，而不是只会沿着固定镜头延展的视频模型。

spatial condition 的结果说明，几何 memory 能把 fixed-duration video chunks 之外的信息带回来。没有 memory 时，模型即使短期帧间平滑，也可能在回到相似位置时忘记历史结构；有 geometry-aware retrieval 时，它能用相机位姿找回空间上相关的旧 observation，作为当前 prediction 的条件。这一点与 WorldMem / FramePack 一类视觉记忆方法形成对比：DeepVerse 的检索键不是 compressed frame embedding，而是由自身维护的 4D state 提供。

不过，结果也有边界。首先，论文的核心定量比较主要是 internal ablations，而不是与所有公开视频/世界模型在统一 benchmark 上的大规模横向对比；因此它更强地证明了“DeepVerse 内部 design choices 的必要性”，而不是充分证明其在所有 simulator 任务上 state of the art。其次，depth / camera labels 依赖 synthetic data 与 annotation pipeline，真实世界数据没有 geometry labels 时，开源 README 甚至建议在部分 OOD 场景使用 --no_need_depth 获得更好视觉结果，这说明几何监督的 domain coverage 仍是关键限制。第三，long-duration inference 的 memory retrieval 规则虽然可解释，但很启发式：translation top-$k$ + rotation angle 最小不能处理所有语义重访、动态物体变化或大范围 scene topology。

综合来看，DeepVerse 的价值在于提出了一个清晰的 4D autoregressive world model recipe：用 RGB + depth + raymap 构造操作状态，用 token-wise MM-DiT 保留时间 token 结构，用几何 memory 做长期检索，用 text/action condition 支持交互，用 sliding-window cache + global coordinate alignment 延长 inference。它的贡献不是单个 trick，而是把视频生成、几何表征和 World Model memory 连接成一个可运行系统。