WorldStereo: Bridging Camera-Guided Video Generation and Scene Reconstruction via 3D Geometric Memories

0. 论文定位与一句话总结

WorldStereo 的核心定位不是单纯提升视频主观观感，而是把 camera-guided video diffusion model 变成可以服务于 3D scene reconstruction 的“可重建世界生成器”。它认为现有视频扩散模型已经能生成漂亮的 camera fly-through，但这些视频常常不能被稳定重建成同一个 3D 场景：不同相机轨迹下物体几何会漂移，纹理会换脸，遮挡区域会凭空变化，最后送进 3D reconstruction pipeline 时得到的是破碎、模糊或不闭合的点云。WorldStereo 的解法是在生成过程中显式维护两类 3D geometric memories：Global-Geometric Memory 用增量点云缓存约束粗结构，Spatial-Stereo Memory 用检索视角、pointmap 和受限注意力恢复细节一致性，再用 DMD 把推理从 40 steps 加速到 4 steps。

一句话：WorldStereo 把“先生成视频再重建 3D”的范式做成闭环记忆系统，让同一场景的多条中等长度轨迹彼此共享 3D 缓存和参考视图，从而生成既受相机精确控制、又能被 WorldMirror 等重建器还原成高质量 3D 点云的视频。

代码搜索结果：已找到公开实现 FuchengSu/WorldStereo，本笔记锚定 main@5ba8dc3d（2026-04-24）。该仓库 README 明确包含 worldstereo-camera、worldstereo-memory、worldstereo-memory-dmd 三个模型变体；其中 released code 更偏 WorldStereo 2.0 / HY-World 2.0 体系，和 arXiv 论文中的方法是一脉相承但不完全逐字同版。

Figure 1 解读：绿色框是单视角或全景输入。上方两个 perspective scenes 由 WorldStereo 生成多轨迹视频后经 WorldMirror 重建点云；下方 panorama scenes 则用 monocular depth 对齐。图的重点是“视频生成质量”被转换成“点云可重建性”：如果生成帧之间只是看起来合理但几何不一致，点云会碎；WorldStereo 生成结果能在 perspective 与 panoramic 场景中形成更完整的 3D structure。

1. Motivation（研究动机）

这篇论文的动机来自一个很实际的缺口：现有 foundational VDMs 和 camera-guided VDMs 在二维视频质量上进展很快，但它们生成的帧序列并不自动等价于一个一致的三维世界。视频扩散模型可以沿着给定相机轨迹生成漂亮画面，但当轨迹变长、视角变多、或者同一个初始图像需要从多个互补方向扩展时，模型通常只保证局部视频片段的视觉连贯，而不是全局 3D consistency。对于人眼预览，局部连贯也许够用；对于 3D reconstruction，任何跨视角的纹理漂移、形状重写、重复物体、尺度不一致都会被几何算法放大，导致 reconstruction 的 precision、recall、F1 和 AUC 都下降。

论文把已有 generation-for-reconstruction 方案抽象为三类。第一类是 Long-Bi VDM：一次性生成长轨迹，双向注意力覆盖整个视频，优点是每个片段内部有全局上下文，缺点是长上下文训练和推理成本高，而且很难灵活覆盖互补视角。第二类是 AR 方案：按时间顺序不断接续生成，优点是实现简单，缺点是误差累积明显，越往后越容易漂移。第三类是 WorldStereo 提出的 Multi-Bi-Mem：不追求一条超长轨迹，而是生成多条中等长度、互补方向的视频，并用 memory 让它们共享同一个 3D scene state。这个选择很关键，因为 3D reconstruction 并不一定需要一条连续长视频，它更需要覆盖充分、相互一致的多视角证据。

更具体地说，WorldStereo 解决了两个层次的矛盾。粗层次矛盾是 camera control 与 scene structure 的矛盾：模型需要严格遵循目标相机 pose，但从单张图估计出的 depth / point cloud 本身不完美，过强依赖它会损害 base VDM 的泛化，过弱依赖又无法保持几何。细层次矛盾是 reference memory 与 detail preservation 的矛盾：把所有历史帧塞进 full attention 既贵又噪，而且历史帧往往是离散、无序、不连续的；但如果不用历史帧，纹理细节和局部形状又很容易在新视角中被重新生成。WorldStereo 的设计可以看作对这两个矛盾的分治：GGM 只负责粗全局结构，SSM 只在 target-reference pair 内做类似 stereo matching 的细粒度约束。

这篇论文也试图改变 video generation 的评价目标。传统图像/视频指标如 CLIP、IQA、aesthetic score 能说明“画面是否好看”，但不足以说明“画面能否被重建为同一个 3D scene”。因此 WorldStereo 不只在 OOD camera-control benchmark 上报告 RotErr、TransErr、ATE 和 visual quality，还提出 single-view-generated 3D reconstruction benchmark：从一个输入视图出发生成 up、left、right、orbit 四条轨迹，再用 WorldMirror 重建点云，并和 Tanks-and-Temples / MipNeRF360 的 ground truth 或 pseudo ground truth 比较。这个设置把生成模型真正放进 3D pipeline 里评估，避免只看视频演示。

2. Idea（核心思想）

WorldStereo 的核心直觉是：如果视频生成要服务于 3D world modeling，模型不能每次从隐空间里“重新想象”当前视角，而要拥有一个可增长、可检索、可对齐的 scene memory。这个 memory 不是一个单一向量，也不是简单的历史帧列表，而是由 2D memory bank 和 3D cache 共同组成。2D memory bank 存已经生成或输入的参考帧，负责给新视角提供真实纹理和局部细节；3D cache 存通过 WorldMirror 等 feed-forward reconstruction 从 memory bank 中重建出来的 point cloud，负责给新视角提供全局几何坐标系。

Global-Geometric Memory 的想法是用增量更新的 global point clouds 作为粗结构先验。Uni3C 这类 camera-guided VDM 原本已经可以使用 reference frame back-projected 得到的 point cloud，但是这种 point cloud 更像 camera guidance：它告诉模型目标视角的大致几何投影，却不会强迫模型真正记住跨轨迹结构。WorldStereo 把来自其他视角的点云也纳入控制条件，并在推理时不断用新生成视频更新 3D cache。这样下一条轨迹不是从初始图像重新出发，而是在已有点云世界中继续生成。

Spatial-Stereo Memory 的想法是把细节一致性问题转化成有 3D correspondence 的 target-reference pair matching。对于目标 pose 序列，WorldStereo 从 memory bank 中检索与目标相机 frustum overlap 最大的参考视角；再把 target latent 与 reference latent 水平拼接，同时把 target / reference pointmaps 也编码成 latent 加入条件。更重要的是，SSM 不做所有帧之间的 full attention，而是把注意力 receptive field 限制在每个 target-reference pair 内：每个目标帧只看它对应的参考帧，而不是让无序历史帧互相污染。这个设计类似传统 stereo matching：要恢复某个目标像素的纹理，应该看 3D 上对应的 reference view，而不是平均所有历史帧。

DMD 加速部分解决的是实用性。完整 WorldStereo 如果仍按 40-step VDM 推理，3D world generation 的多轨迹成本会很高。论文把 generator 蒸馏为 4-step DiT，并保持 control branch / memory branch 可直接泛化到 distilled backbone，不需要对 memory branch 做联合微调。这样 WorldStereo-DMD 在 OOD 表中时间从 162/173 秒级降到 9 秒，同时在 camera control 和 visual quality 上基本保留竞争力。

Figure 2 解读：整体框架有两个 ControlNet-style branches。camera branch 接收 camera embedding、rendered point cloud / global point cloud 等条件，负责 camera control 和 GGM；SSM branch 接收检索参考帧、reference-target pointmap guidance，负责细节一致性。图中 3D cache 与 memory bank 是推理时持续更新的状态，而不是一次性输入。

3. Method（方法）

3.1 基础模型与点云条件

WorldStereo 构建在 Uni3C / Wan-I2V 类型的 camera-guided VDM 上。基础模型输入 reference image、text prompt、target camera trajectory、camera Plücker rays，以及由 monocular depth 回投影得到的 point cloud condition。论文给出 reference image 的 point cloud： $X_{pcd}(x)\simeq R_{c\to w}D(x)K^{-1}\hat{x},$ 其中 $R_{c\to w}$ 是 camera-to-world pose，$D(x)$ 是 MoGe 对像素 $x$ 估计的深度，$K^{-1}$ 是相机内参逆矩阵，$\hat{x}$ 是 homogeneous pixel coordinate。这个公式看起来简单，但它揭示了整个方法的基础假设：即使 depth 不完美，point cloud 仍能作为比纯 2D image 更稳定的 cross-view structure anchor。

基础 Uni3C 的局限是 reference-frame point cloud 覆盖有限。它能帮助当前视频跟随相机移动，却不一定让模型重用后续视角中已生成的结构。WorldStereo 因此将条件从单参考点云扩展成全局点云记忆： $X_{pcd}^g=[X_{pcd},{\hat{X}}_{pcd}],$ 其中 ${\hat{X}}_{pcd}$ 表示来自其他视角的 point clouds。训练时，${\hat{X}}_{pcd}$ 来自多视角样本；推理时，它来自 incrementally updated 3D cache。为了避免模型过拟合目标视角点云，论文加入 point cloud masking：随机遮掉目标视角点云的一部分，让 control branch 学会在不完整几何下仍保持鲁棒。

3.2 Memory bank 与 3D cache

WorldStereo 的推理状态由两个容器组成。2D memory bank 保存输入图像、从 panorama 切分出的 perspective views、以及各条轨迹生成后的 downsampled frames；它用于 reference retrieval。3D cache 保存基于 memory bank images 重建得到的 global point cloud set $X_{cache}$；它用于 global point cloud conditioning 和 pointmap construction。论文中 3D cache 主要通过 WorldMirror 这种 feed-forward 3D reconstruction method 生成；当轨迹越来越多、cache 被分段重建时，系统用 overlapping point clouds 上的 Umeyama transformation 对齐不同缓存。

这种设计避免了两种极端。它没有把所有历史帧直接塞进 VDM 长上下文，因此不需要重新训练一个很长上下文模型；也没有完全依赖 AR hidden state，因此不会把早期错误作为唯一条件一路滚下去。memory bank 是可检索的离散参考集，3D cache 是可对齐的连续几何先验。每次生成一条新轨迹后，系统先把生成视频写入 memory bank，再用这些帧更新可供后续轨迹使用的 reference set 和 WorldMirror input。

代码中这个逻辑直接体现在 run_multi_traj.py 和 src/retrieval_wm.py：SimpleMemoryBank.retrieval(...) 为当前 target cameras 选参考帧，生成后 memory_bank.update_memory(...) 追加新帧和相机，再 memory_bank.apply_worldmirror(...) 导出 WorldMirror 所需的 images/ 与 cameras.json。

# code anchor: FuchengSu/WorldStereo main@5ba8dc3d
memory_bank = SimpleMemoryBank(...)
for traj_id in trajectory_order:
    retrieved_frames, ref_index, ref_index_dict, ref_w2cs, _ = memory_bank.retrieval(tar_w2cs, tar_Ks)
    output = worldstereo(..., ref_images=retrieved_frames, ref_index=ref_index, ref_w2cs=ref_w2cs)
    memory_bank.update_memory(gen_frames=output, tar_w2cs_full=tar_w2cs, tar_Ks_full=tar_Ks)
memory_bank.apply_worldmirror(output_path / "world_mirror_data")

3.3 Global-Geometric Memory（GGM）

GGM 负责“场景骨架”。它的输入不是一张 reference image 估计出的局部点云，而是由已有轨迹不断积累得到的 global point cloud。论文在第二阶段 fine-tune camera ControlNet，让它接受扩展点云 $X_{pcd}^g$。训练时会从 1 到 4 个额外 frames 采样点云，对齐到初始参考帧坐标系，然后施加两类 augmentation：随机遮掉 30% 到 70% 的 depth pixels，以及用矩形 contiguous mask 遮掉 20% 到 70% 的 depth map 区域。这些增强的目的不是增加数据量本身，而是防止 control branch 把不可靠点云当成硬约束。

推理时，GGM 的关键是“增量”。第一条轨迹可能只依赖初始视图或 panorama 初始化点云；生成后，WorldMirror 从新视频中恢复更多视角的点云，再通过重叠区域和 Umeyama alignment 合并进同一 cache。下一条轨迹看到的是更完整的粗几何，所以能少 hallucinate 新结构。对于 panorama generation，论文还用 MoGe panorama depth estimation 构造初始化 3D cache，因为 360 度 panorama 已经提供了更宽视野，但仍需要在 viewpoint transition 中保持一致。

GGM 的能力边界也很清楚：它改善粗结构和相机可控性，但无法单独保证细纹理。论文定性图中仅有 GGM 的结果在大轮廓上更稳定，但局部细节仍会重写；表格中 GGM 在 camera / OOD quality 上甚至经常优于 full 版本，但 full 版本在 reconstruction F1 上更强。这说明 GGM 更像低频结构记忆，而不是像素级 texture cache。

3.4 Spatial-Stereo Memory（SSM）

SSM 负责“场景皮肤和细节”。它首先从 target pose 序列中均匀抽取 $F=N/4$ 个 poses，再为这些 target poses 从 memory bank 中检索 nearest-neighbor reference frames。检索标准不是简单的时间距离，而是从 2D plane retrieval 扩展到 3D frustum overlap：选择 target camera frustum 与 reference camera frustum volumetric overlap 最大的视角。这样检索出来的 reference 更可能看见同一批 3D points。

拿到 reference 后，WorldStereo 不把它们当成一段连续视频编码，因为检索帧可能来自不同轨迹、顺序离散且不连续。它把每个 reference view 独立编码为 latent features $z_{ref}^i$，然后和 target latent 做水平拼接： $z_{stitch}=[z_{tar};z_{ref}]\in {\mathbb{R}}^{F\times 2HW\times C}.$ 接着，系统基于 3D cache 为 target 和 reference 构造 pointmap。pointmap 记录 target-reference pair 中像素对应的 3D world coordinates，经过 normalize / colorize 后当成 RGB，再由 3D-VAE 编成 latent。target pointmap latent 与 reference pointmap latent 同样水平拼接为 $z_{pm}$，最终 SSM branch 输入是： $z_{ssm}=z_{stitch}+z_{pm}.$ SSM 最关键的不是“用了 reference frames”，而是“限制 reference 怎么被用”。它的 branch 是 20-layer DiT blocks from scratch，但 attention constraint 与普通 full attention 不同：每个 target-reference pair 只能在自己的 $H\times 2W$ 范围内做 attention。代码 README 也对应说明 WorldStereoRefSModel 使用 WanTransformerSparseSpatialBlock，对 retrieved reference frames 做 sparse attention guided by 3D correspondences。论文说这会让 target frame features focus on the specifically retrieved reference，最后只有 target features 被加回 main VDM block。这个约束避免了多个 reference 互相串扰，也避免把不相关视角平均成模糊纹理。

Figure 3 解读：SSM 把 target 和 reference 水平拼接，把 pointmap 作为 3D correspondence guidance，并通过 tensor rearrange 限制每个 target frame 只关注其对应 reference。这是论文中最像“stereo”的部分：不是泛化地记住历史，而是在特定 3D 对应关系上做局部匹配。

3.5 DMD 加速

论文的 DMD 部分是为了让多轨迹 generation 可用。DMD 把 few-step student generator $G_{\theta }$ 通过 real score function 与 fake score function 的差异来蒸馏，论文公式为： $\nabla {\mathcal{L}}_{\text{DMD}}=-{\mathbb{E}}_t\left(\int \left(s_{\text{real}}(x_t,t)-s_{\text{fake}}(x_t,t)\right)\frac{d{x}_t}{d\theta }dz\right),$ 其中 $x=G_{\theta }(z)$，$z\sim \mathcal{N}(0;\mathbf{I})$，$t\sim \mathcal{U}(0,1)$，$x_t\sim q_t(x_t|x,t)$。实现策略上，$G_{\theta }$、$s_{\text{real}}$、$s_{\text{fake}}$ 都从 camera-guided VDM 初始化；$s_{\text{real}}$ 冻结，$G_{\theta }$ 和 $s_{\text{fake}}$ 可训练；$s_{\text{fake}}$ 每次 generator update 训练 5 次，并使用 stochastic gradient truncation 稳定训练。论文还省略 GAN loss，因为它带来的收益不明显但会显著拖慢训练。

一个重要工程选择是：DMD 训练只基于纯 camera-guided generation，而不是 memory training。为了把 control ability 和 few-step generation ability 解耦，generator 的 camera-guided control branch 被冻结，只训练 main backbone；随后 camera-guided 和 memory-based control branches 都可以泛化到 distilled generator，不需要 joint fine-tuning。这样做的代价是 DMD 没有专门针对 memory branch 做再适配，但收益是训练数据要求更低，训练流程更简单，推理从 40 denoising steps 变成 4 steps，总体报告 20× speedup。

3.6 代码实现锚点

公开代码的结构与论文概念基本对应。models/worldstereo.py 定义 WorldStereoModel 和 WorldStereoRefSModel，前者用于 camera-only ControlNet，后者扩展 reference / sparse spatial blocks 用于 memory 模式。models/worldstereo_wrapper.py 根据 model_type 自动选择三条 pipeline：worldstereo-camera 使用 KFPCDControllerPipeline，worldstereo-memory 使用 KFPCDControllerRefPipeline，worldstereo-memory-dmd 使用 RefKFDMDGeneratorPipeline。src/retrieval_wm.py 的 SimpleMemoryBank 管理 reference frames、reference cameras、retrieval、memory update 和 WorldMirror export。src/pointcloud.py 则包含 depth-to-point-cloud 与 point rendering 等几何工具。

代码层面的伪流程如下：

# 1. model_type 决定是否启用 memory / DMD
if model_type == "worldstereo-camera":
    pipeline = KFPCDControllerPipeline(...)
elif model_type == "worldstereo-memory":
    pipeline = KFPCDControllerRefPipeline(...)
elif model_type == "worldstereo-memory-dmd":
    pipeline = RefKFDMDGeneratorPipeline(...)
 
# 2. memory retrieval 基于 target camera 与 reference camera 的 overlap
best_idx, best_score, angle_diff = find_closest_camera_in_view(
    tar_w2c, ref_w2cs, tar_K, ref_Ks,
    image_width, image_height,
    method="fov_overlap",
    angle_penalty=True,
)
 
# 3. references 太多时，CameraSelector 结合 camera/image/quality 选 top-k
indices, _ = camera_selector.select(
    retrieved_w2cs, retrieved_frames,
    topk=max_reference,
    camera_weight=0.3,
    image_weight=0.7,
    quality_bias=0.1,
)
 
# 4. 生成后把 frames 与 cameras 追加进 memory，并导出 WorldMirror 输入
self.ref_w2cs = torch.cat([self.ref_w2cs, updated_tar_w2cs], dim=0)
self.ref_Ks = torch.cat([self.ref_Ks, updated_tar_Ks], dim=0)
self.ref_frames.extend(gen_frames)
self.apply_worldmirror(output_path)

这段代码也暴露了论文方法的工程依赖：WorldStereo 的“记忆”不是隐式存在 transformer weights 里，而是一个显式的运行时状态。它需要维护 reference frame filenames、camera extrinsics / intrinsics、retrieval index map、WorldMirror 格式输出等数据结构。因此它很适合系统化 pipeline，但不是一个单次 forward 就能完成全部 3D world generation 的模型。

4. Experimental Setup（实验设置）

模型训练分多阶段。frozen VDM 基于 Wan2.1-14B-I2V；camera ControlNet 在与 Uni3C 类似的设置下训练 8,000 steps，batch size 32。GGM 第二阶段 fine-tune camera ControlNet 4,000 steps。SSM 第三阶段从头训练新的 branch 6,000 steps。两个 memory mechanisms 的训练共花费 64 张 NVIDIA H20 GPUs 上约 60 小时。DMD 训练使用同样资源训练 1,000 steps，约 13 小时；real score function 的 CFG scale 设为 5.0，生成器变成 CFG-free，从而获得 2× inference efficiency，并把 denoising steps 从 40 降为 4。

训练数据包括 DL3DV、Re10K、Tartanair、Map-Free-Reloc、WildRGBD、UCo3D、UE-Render。论文附录表显示：DL3DV 用于 Camera/GGM/SSM/DMD，总场景 9,174、epoch sample 19,868；Re10K 用于 Camera/GGM，总场景 26,544、epoch sample 12,000；Tartanair 用于四个阶段，总场景 2,214、epoch sample 2,142；Map-Free-Reloc 用于四个阶段，总场景 960、epoch sample 910；WildRGBD 用于四个阶段，总场景 23,005、epoch sample 3,000；UCo3D 用于 Camera/DMD，总场景 164,455、epoch sample 10,000；UE-Render 用于四个阶段，总场景 5,939、epoch sample 4,000。作者说明每个 epoch 会根据 diversity、video quality、trajectory quality 动态采样子集。

GGM 的数据构造是从 multi-view images 与 depth maps 构造 global point cloud。它从 initial frame 的 $X_{pcd}$ 开始，再随机采样 1 到 4 个 additional frames 的 point clouds，对齐到 $X_{pcd}$ 坐标系。为防止过拟合或被伪几何误导，训练中使用随机 depth mask 和 contiguous rectangular mask。SSM 的数据构造依赖 multi-view videos：reference-target pairs 需要 30% 到 90% temporal overlap；训练时 reference set 会被 shuffle 和 mask，以模拟真实检索场景中的无序和缺失。附录还写到，SSM 每个样本有 10% 概率完全省略 reference condition，否则每个 target frame 对应 reference frame 以 30% 概率 drop。

评估分三类。第一类是 OOD camera-control and visual-quality benchmark：从 WorldScore static subset 选 100 张高质量初始图，覆盖 real-world、stylized、indoor、outdoor 场景，再随机组合 translation、rotation、panning 构造复杂相机轨迹。camera precision 用 WorldMirror 从生成视频中恢复 predicted cameras，并报告 RotErr、TransErr、ATE；视觉质量用 Q-Align-Image/Video、CLIP-Image/Text、CLIP-IQA+、Laion-Aes 等指标。

第二类是 single-view-generated 3D reconstruction benchmark：Tanks-and-Temples training split 有 ground-truth point clouds；MipNeRF360 先用 MVS 重建 global point clouds 并裁剪中心 foreground 作为 pseudo ground truth。每个 scene 只给一张 initial frame，模型生成 up、left、right、orbit 四条轨迹，再经 WorldMirror 重建并与 GT 对齐。

第三类是 memory ablation / trajectory / resolution 等附录实验，直接验证 GGM、SSM、DMD 与 trajectory order 的作用。

Figure 8 解读：四类轨迹包括 orbit、up、right、left。论文在 panoramic 3D generation 中比较不同轨迹顺序，最终使用 orbit -> up -> right -> left。虽然表中 orbit -> right -> left -> up 的 all overlapping FoV 略高，但作者认为 left/right rotations 对 3D reconstruction 更关键，放到后面可以利用更多累积 memory frames。

5. Experimental Results（实验结果）

5.1 Camera control 与视觉质量

OOD benchmark 中，Uni3C 的 RotErr/TransErr/ATE 为 0.155/0.192/0.572，WorldStereo baseline（无 memory）为 0.132/0.178/0.542，说明仅 camera branch / backbone 设置已经比 Uni3C 有提升。加入 GGM 后为 0.129/0.162/0.706，视觉指标 Q-Align-I/V、CLIP-I、CLIP-IQA+、Laion-Aes 分别为 4.339/0.875/92.24/0.572/5.408，在多项质量指标上最强。Full 版本为 0.145/0.253/0.667，DMD 版本为 0.146/0.203/0.504，DMD 的 ATE 反而是表中最小，同时 time 只有 9 秒；相比 Uni3C 的 162 秒、WorldStereo-Full 的 173 秒，这就是论文 20× speedup 的直接证据。

这个表需要谨慎解读：Full 版本并不是每个 camera metric 都最好，SSM 因为引入 reference-detail fusion，可能略牺牲纯 camera-control 数字；但它在 reconstruction benchmark 中显著提升点云质量。也就是说，WorldStereo 的最终目标不是把每个单项视频指标都推到最高，而是让生成的视频更能被 3D pipeline 使用。

5.2 Single-view 3D reconstruction

在 Tanks-and-Temples 上，Uni3C 的 F1/AUC 为 0.424/0.378，Gen3C 为 0.416/0.380，SEVA 为 0.286/0.293，Lyra 为 0.227/0.193，VMem 为 0.386/0.375。WorldStereo baseline 为 0.447/0.389，GGM 为 0.485/0.411，Full 达到 0.578/0.437，DMD 为 0.534/0.410。Full 相比 baseline 的 F1 提升从 0.447 到 0.578，说明 SSM 的细节记忆对重建完整性很关键；DMD 虽略低于 Full，但仍明显高于非 WorldStereo baselines。

在 MipNeRF360 上，Uni3C 的 F1/AUC 为 0.352/0.347，Gen3C 为 0.356/0.340，SEVA 为 0.332/0.311，Lyra 为 0.203/0.263，VMem 为 0.256/0.245。WorldStereo-Full 达到 0.406/0.402，是表中最高；DMD 为 0.390/0.387，仍保持较好重建性能。MipNeRF360 的 camera errors 上 baseline/GGM 有时更低，但点云 F1/AUC 的最终指标仍由 Full 领先，这再次说明细节一致性对 reconstruction utility 更重要。

Figure 4 解读：该图把生成轨迹、重建点云和 baseline 对比放在一起。WorldStereo 的优势不是某一帧更清晰，而是多条轨迹合并后点云更完整、更少漂移。对于 Tanks-and-Temples / MipNeRF360 这种需要对齐真实或伪真实点云的设置，局部纹理一致性和整体相机精度都会转化成 F1/AUC 差异。

5.3 Memory component ablation

附录 memory benchmark 用 100 个 diverse scenes，包含 DL3DV、Map-Free-Reloc、WildRGBD、Tartanair、UE5-rendered scenes。测试中 reference frames 有随机 drop：10% 概率空 memory bank，10% 概率不 drop，其余每个 reference frame 以 40% 概率 drop。这个设置比干净连续视频更接近真实运行，因为实际 memory bank 是离散、不完整、质量不均的。

量化表显示，WorldStereo* 的 RotErr/TransErr/ATE 为 1.300/0.112/0.237，PSNR/SSIM/LPIPS 为 14.64/0.443/0.412。GGM 提升到 0.699/0.067/0.131，PSNR/SSIM/LPIPS 为 17.45/0.532/0.288。Full 为 0.748/0.079/0.142，但 PSNR/SSIM/LPIPS 达到 18.40/0.561/0.283，是 fidelity 最好。DMD 为 0.772/0.069/0.130，PSNR/SSIM/LPIPS 为 18.04/0.546/0.289。结论是 GGM 对 camera/geometric stability 很强，SSM 对 image fidelity 和 detail recovery 更强；DMD 保留大部分 memory benefit。

Figure 5 解读：ablation 图展示没有 memory、只有 GGM、加入 SSM 后的差异。GGM 让大结构更稳定，但细节仍可能模糊或不一致；SSM 通过 reference-target correspondence 恢复细粒度纹理，因此 reconstruction 的表面更完整。

5.4 Panorama 与高分辨率泛化

WorldStereo 也被扩展到 3D panorama generation。全景输入本身覆盖 360 度，但生成新视角时仍会遇到 viewpoint transition 的一致性问题。论文用 MoGe panorama depth 初始化 3D cache，再用 memory 机制生成多轨迹并重建。轨迹顺序实验中，only panorama 的 all overlapping FoV 为 167.2；orbit -> up -> right -> left 为 177.1，reference proportion 中 generated references 占 45.11%；orbit -> right -> left -> up 的 all 为 177.6，generated references 占 46.34%。作者最终选择 orbit -> up -> right -> left，因为 orbit 提供信息丰富初始视角，left/right 放在后面能利用更多已累积 memory。

论文还展示了 720p inference。训练数据统一 resize 到 480p flexible aspect ratio，但 base Wan-I2V 本身支持更高分辨率；WorldStereo 直接在 720×1280 推理时能生成更多细节，无需 retraining。这个结果支持作者关于“control branch 不破坏 base VDM generalization”的论点，但实验主体仍用 480p 来平衡性能和计算成本。

Figure 6 解读：panorama 结果说明 WorldStereo 不只适合 object-centric 或单视角扩展，也能从全景输入中构建可浏览的 3D scene。这里 memory 的作用是保持环绕视角之间的几何和纹理一致，而不是简单把全景图切片。

Figure 7 解读：高分辨率图强调 WorldStereo 在 480p 训练后仍能继承 base model 的 720p 生成能力。它不是通过重新训练高分辨率模型来获得细节，而是通过保持 frozen VDM / ControlNet 的可泛化结构来避免 resolution-specific overfit。

6. 与相关方向的区别

WorldStereo 和纯 3D reconstruction 方法不同。传统 reconstruction 假设输入多视角图像已经真实且一致，问题是如何估计 geometry；WorldStereo 的问题更前置：从单张图或全景图生成足够一致的多视角图像，让下游 reconstruction 有可靠输入。它也不同于只做 camera-controlled video generation 的模型，因为它把 reconstruction quality 当成关键目标，并在 benchmark 里用点云 F1/AUC 检验。

WorldStereo 和长视频 diffusion / long-context video models 的区别在于不追求一个超长上下文窗口。长上下文可以提升单条序列内部一致性，但 3D scene reconstruction 往往需要覆盖多个互补方向；把所有方向塞进一个序列既贵又不灵活。WorldStereo 用多条中等长度轨迹 + memory bank + 3D cache，让每条轨迹可以独立生成，但又共享 scene state。

WorldStereo 和简单 reference-based generation 的区别在于 reference selection 与 attention constraint 都是 3D-aware。它不是把任意历史帧作为 visual prompt，而是通过 frustum overlap 找到 target view 对应的 reference，并用 pointmap 表示 3D correspondence；attention 也不是全局混合，而是限制在 target-reference pair 中。这种约束让 reference 更像 stereo pair，而不是一个风格参考。

7. 局限与注意事项

第一，WorldStereo 依赖外部几何模块。MoGe depth、WorldMirror reconstruction、Umeyama alignment、MVS pseudo ground truth 都是 pipeline 的重要环节；如果 depth 或 reconstruction 在透明物体、镜面、极端遮挡、动态物体上失败，3D cache 可能把错误几何带入后续生成。GGM 的 masking 能提高鲁棒性，但不能从根本上消除外部几何噪声。

第二，SSM 对检索质量敏感。它假设 memory bank 中存在与 target camera 有足够 overlap 的 reference views；如果 target pose 太远、已有 memory 覆盖不足、或者 reference 本身包含错误生成，pointmap 和 pairwise attention 可能会把错误细节强化。论文通过 random dropout / shuffled references 训练鲁棒性，但真实长场景中 memory bank 管理仍是系统挑战。

第三，DMD 的训练没有联合 memory branch。论文的选择很工程实用：用 pure camera-guided data 蒸馏 backbone，并让 camera / memory control branches 泛化到 distilled generator。但这意味着 4-step DMD 对 SSM/GGM 的配合不是端到端最优；从结果看它已足够强，但在极高一致性要求场景中 full 40-step 版本仍可能更稳。

第四，公开仓库当前更偏 WorldStereo 2.0 / HY-World 2.0 实现，和 arXiv 2603.02049 的 paper version 存在版本差异。README 提到 2.0 相比 1.0 增加 keyframe-based generation、main branch stereo stitching、partial backbone fine-tuning、expanded UE rendering data。因此，若要复现实验数值，必须确认使用的 checkpoint、config、branch 与 paper version 对齐；若只是理解方法和跑官方 demo，main@5ba8dc3d 是合理代码锚点。

8. 可复现实现要点

若要在新系统里复现 WorldStereo 的核心思想，最小闭环不是“训练一个新 VDM”，而是搭出 memory-aware generation loop。第一步需要一个 camera-guided I2V backbone 和 point-cloud / camera ControlNet；第二步需要把生成帧和相机参数保存到 memory bank；第三步需要用外部几何模块把 memory bank 转成 3D cache；第四步需要检索 target pose 的 reference view 并构造 pointmap；第五步才是把 GGM / SSM 条件注入扩散生成器。任何一个环节缺失，WorldStereo 的 reconstruction utility 都会下降。

工程上最容易忽略的是坐标系与相机对齐。论文中的 $X_{pcd}$、${\hat{X}}_{pcd}$、target / reference pointmaps 都默认处于一致世界坐标系；多段 3D cache 需要通过 overlapping point clouds 做 Umeyama transformation。若只把不同轨迹的点云拼到一起而不对齐，GGM 会提供错误结构，SSM 的 pointmap correspondence 也会失效。

另一个实现重点是 reference 数量控制。代码中的 SimpleMemoryBank 默认有 max_reference，当 reference 太多时会用 CameraSelector.select 结合 camera weight、image weight、quality bias 选 top-k。这和论文避免 full-attention long-context 的思想一致：memory 不是越多越好，而是需要检索、筛选、配对和约束。

9. 结论

WorldStereo 的贡献可以概括为三点。第一，它把 camera-guided video generation 和 3D reconstruction 放在同一个评价闭环里，提出“生成的视频是否能重建为一致 3D world”这个更硬的目标。第二，它用 GGM + SSM 的双 memory 机制分治粗结构和细节一致性：GGM 维护增量点云骨架，SSM 通过 reference retrieval、pointmap 和 pairwise attention 保留局部纹理。第三，它通过 DMD 把多轨迹生成推理成本降到实用范围，并在公开实现中提供 camera-only、memory、memory-dmd 三个使用模式。

我对这篇论文的判断是：它的主要价值不是某个单独模块新颖到完全不可替代，而是把 2D VDM、camera control、feed-forward 3D reconstruction、reference retrieval、pointmap correspondence、DMD acceleration 组织成一个面向 reconstruction 的系统。对于 World Model / 3D & Multi-View Simulation 分类，它代表了一个重要趋势：视频生成模型不再只服务于视觉合成，而是逐渐成为可浏览、可重建、可交互 3D world 的前端生成器。