Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation

Paper: arXiv:2506.04225 Code: Tencent-Hunyuan/HunyuanWorld-Voyager Code reference: main @ 6218ccd3 (2026-04-15)

1. 研究问题与动机：从“一段好看的视频”到“可探索的世界”

Voyager 解决的不是普通 image-to-video，而是从单张图像和用户给定相机路径出发，生成可以沿路径探索、前后视角保持几何一致、并能直接重建成 3D 点云或 3DGS 场景的 RGB-D 视频序列。论文把任务定位在游戏、VR、影视预演、机器人仿真等需要“可走进去”的虚拟环境上：用户不只想得到一段固定镜头的视频，而是希望模型记住已经生成过的空间内容，在新视角下补全未见区域，并且最终产物能够被渲染、重建、继续扩展。

现有路线主要有三类瓶颈。第一类是原生 3D 生成或场景建模方法，它们可以在几何表达上更直接，但高质量 3D 场景数据稀缺，多物体、室内外复杂布局、长距离漫游都很难靠纯 3D 生成覆盖。第二类是 novel view synthesis 或相机可控视频生成，例如用相机参数、点云投影或第一帧条件来控制视角。这类方法能生成视觉上不错的短片段，却经常在长距离相机运动中丢失早期场景信息，因为视频扩散模型的上下文窗口有限，只能记住少量前序帧或片段，不能像显式世界状态那样保存完整历史。第三类是先生成 RGB 视频、再用 SfM、MVS、VGGT 或 3DGS 做后处理重建；这种方式会把视频生成误差转化成几何伪影，且重建步骤额外耗时，不适合交互式世界创建。

论文特别强调“partial RGB condition”的局限。很多 3D-aware 视频方法会先从已有视角重建点云，再把点云投影到目标相机，得到一个带空洞的 RGB 条件图；模型需要在空洞处补全内容。问题是 partial RGB 本身在遮挡关系复杂时会产生错误可见性：有些本应被遮挡的颜色被错误投到前景，有些空洞边界带有投影毛刺，扩散模型如果直接把这种 RGB 条件当强监督，会把投影伪影也学进去。Voyager 的动机图展示了同一组点云从不同帧渲染出的 partial RGB 与 partial depth：RGB 条件会在遮挡边界和大视差区域出现明显视觉 artifacts，而 depth 条件更接近真实几何可见性，能告诉模型哪里已有可靠空间约束、哪里需要生成。

因此，这篇论文的核心问题可以拆成三个子问题：第一，如何让视频扩散模型不仅生成 RGB，还同步生成与 RGB 对齐的深度，从而让每一帧都能回投到 3D 世界；第二，如何在自回归长视频生成中保存完整世界历史，避免只靠最近几帧导致场景遗忘；第三，如何获得足够大规模且带相机姿态、metric depth 的训练数据，而不是依赖昂贵人工 3D 标注。Voyager 的答案是把 RGB-D 视频扩散、显式 point-cloud world cache、以及自动化数据引擎串成闭环：当前世界缓存渲染出 partial RGB-D 条件，扩散模型生成完整 RGB-D 帧，新帧再回投并更新缓存，下一段生成继续使用这个累计的世界状态。

2. 核心想法：把深度变成扩散模型的“世界状态接口”

Voyager 最重要的新意不是单独的 depth prediction，也不是单独的 camera control，而是把深度作为视频扩散和 3D 世界建模之间的接口。传统 I2V 模型的输出是像素序列，像素本身没有明确三维坐标；Voyager 的输出是 RGB 与 depth 沿高度维拼接后的序列，模型在同一次 denoising 里联合预测颜色和几何。这使得每个生成帧都可以被立即反投影为点云，成为下一轮生成的条件。换句话说，生成结果不只是“视频终点”，而是下一步世界扩展的“可渲染状态”。

论文把系统分为三个模块。第一是 World-Consistent Video Diffusion：输入第一张图、文本 prompt、相机轨迹，以及由当前 world cache 渲染出来的 partial RGB-D 与 mask；输出完整 RGB-D 视频。模型底座继承 Hunyuan-Video 的 DiT 结构，但条件不只在通道维拼接，而是把 RGB 与 depth 在高度维组织成一个联合画布，使全注意力可以跨 RGB 区域和深度区域交互。第二是 Long-Range World Exploration：用 RGB-D 输出回投成点云，维护可增长的 world cache；同时用 point culling 降低点数量，用 overlap-based smooth sampling 缓解片段之间颜色或纹理跳变。第三是 Scalable Data Engine：先用 VGGT 获取相机和粗深度，再用 MoGE 改善深度质量，最后用 Metric3D 把深度和相机尺度统一到 metric scale，从而把 RealEstate、DL3DV、Unreal Engine 渲染数据整合为超过 100,000 个训练片段。

与只用相机参数的 CameraCtrl 类方法相比，Voyager 的控制信号更显式：相机参数不是直接塞给网络，而是先作用到 world cache，渲染出目标视角下可见的 partial RGB-D 条件。这样模型看到的不是抽象运动向量，而是“从这个新相机看，已有世界中哪些点应该出现、对应颜色和深度是什么”。与只用 partial RGB 的方法相比，Voyager 把 partial depth 作为几何先验加入条件，减少投影 RGB 的幻觉误导。与先生成 RGB 再重建的方法相比，它在生成阶段就学习 RGB 与 depth 对齐，因此 3D 重建不再完全依赖后处理估计器。

一个容易误解的点是：Voyager 并不是让扩散模型“隐式记住无限场景”。相反，论文承认视频扩散模型本身记忆有限，因此把长期记忆交给显式点云缓存；模型只负责在当前相机窗口内根据缓存条件和 prompt 生成合理局部 RGB-D。这个设计把长程一致性从神经网络上下文中外包到可渲染的几何状态中，符合世界模型的一种实用路线：用生成模型填补未知区域，用显式状态保存已知区域，再把两者闭环耦合。

3. 方法细节与代码对应

3.1 基础模型：Hunyuan-Video 风格的 latent video diffusion

论文的扩散底座基于 Hunyuan-Video。给定文本 prompt $y$ 和真实视频 $[I_0,\dots ,I_{T-1}]$，3D-VAE 先把视频压缩到 latent ${\mathbf{z}}_0$，形状包含时间压缩率 $c_t$ 和空间压缩率 $c_s$。训练时给 latent 加噪得到 ${\mathbf{z}}_t$，DiT 预测 velocity ${\mathbf{u}}_t=d{\mathbf{z}}_t/dt$，优化预测速度与真实速度的均方误差；采样时用一阶 Euler ODE solver 从噪声恢复 ${\mathbf{z}}_0$，再由 3D-VAE decoder 解码成视频。DiT 采用 dual-stream to single-stream 的混合结构：早期双流块分别处理视频 latent 与文本 latent，后期单流块把两者拼在一起做联合注意力。

这个基础模型本身只能生成普通视频；Voyager 的修改集中在条件表达和上下文注入。开源仓库中 voyager/diffusion/pipelines/pipeline_hunyuan_video.py 保留了 HunyuanVideo pipeline 的 denoising loop，在 image-to-video latent concat 模式下，把当前 latents、首帧 latents、首帧 mask、partial condition latents、partial mask 拼接成 latent_model_input，再送入 transformer。voyager/modules/models.py 的 HYVideoDiffusionTransformer 在 use_context_block 时额外从输入里取出 depth 区域，经过 condition_in、context_block1、context_block2 和 zero linear 后，加回 double-stream 与 single-stream 的主干特征，这对应论文的 context-based control enhancement。

3.2 Geometry-Injected Frame Condition：从第一帧建立 partial RGB-D 条件

设输入图像为 $I_0\in {\mathbb{R}}^{3\times H\times W}$，用户提供目标相机轨迹。训练时，论文对每帧 $I_k$ 估计 depth $D_k$ 和相机 $c_k$；推理时只有第一帧可见，所以先用第一帧深度 $D_0$ 与相机 $c_0$ 反投影成初始点云 $p_0$。对第 $k$ 个目标视角，把 $p_0$ 渲染到相机 $c_k$，得到可见性 mask $M_k=\mathrm{render}(p_0,c_k)$，并据此得到 partial RGB ${\hat{I}}_k$ 与 partial depth ${\hat{D}}_k$。mask 覆盖的区域是已有世界能解释的区域，未覆盖区域是模型需要补全的新内容。

这个条件的关键是 RGB 与 depth 对齐。partial RGB 告诉模型已有点云的外观，partial depth 告诉模型这些外观背后的空间关系。对于大视差、遮挡和空洞，RGB 投影容易把错误颜色带进目标视角；depth 只表达几何距离和可见性，错误外观信息更少，因此可以作为更稳定的空间约束。开源 data_engine/create_input.py 的 depth_to_world_coords_points() 把 depth map 通过相机内外参反投影到 world coordinates；render_from_cameras_videos() 再用目标相机把点云投影回像素平面，使用 depth buffer 选择最近点，并输出 render image、mask、depth 三个序列；create_video_input() 将这些序列保存为 render_XXXX.png、mask_XXXX.png、depth_XXXX.exr 和 depth_range.json。

3.3 World-Consistent Video Diffusion：RGB-D 融合生成与上下文控制块

最朴素的做法是把 condition RGB latent 和 condition depth latent 沿通道维拼到 noisy latent 上：${\mathbf{z}}_{t,0}^{\prime }=f_{emb}(\mathrm{concat}({\mathbf{z}}_t,{\mathbf{z}}_{rgb},{\mathbf{z}}_{depth}))$。论文认为这种 channel-wise concat 对几何条件的约束太弱，因为空间条件只在输入处进入一次，后续 transformer block 未必持续遵守，特别是 partial map 的空洞大小变化很大时，模型容易在可见边界处产生错位。

Voyager 的 depth-fused video generation 改成沿高度维组织 RGB 与 depth： ${\mathcal{I}}_k=[I_k,\Phi ,D_k{]}_h$，partial 条件为 ${\hat{\mathcal{I}}}_k=[{\hat{I}}_k,\Phi ,{\hat{D}}_k{]}_h$，mask 为 $M_k=[M_k,\Phi ,M_k{]}_h$。中间的占位行 $\Phi$ 帮助模型区分 RGB 区域和 depth 区域。这样 DiT 的全注意力可以在同一 latent 画布里跨 RGB 和 depth 交互，模型学习的不是“先生成 RGB 再估深度”，而是“颜色和几何共同解释当前世界状态”。开源 pipeline 在输出端也能看到这个设计：pipeline_hunyuan_video.py 在解码后按高度把输出拆成上半部分 RGB 和下半部分 depth，并把 depth 转成灰度三通道后再拼回，形成可视化 RGB-D 视频。

上下文控制块进一步强化几何遵循能力。论文复制 double-stream 与 single-stream 的前部模块为控制块 ${\hat{f}}_D$ 和 ${\hat{f}}_S$，对输入 latent 计算 ${\mathbf{z}}_D={\hat{f}}_D({\mathbf{z}}_{t,0}^{\prime })$ 与 ${\mathbf{z}}_S={\hat{f}}_S({\mathbf{z}}_D)$，再通过零初始化线性层 $l_D,l_S$ 加回每层主干特征：${\mathbf{z}}_{t,i}^{\prime }={\mathbf{z}}_{t,i}^{\prime }+l_D({\mathbf{z}}_D)$，${\mathbf{z}}_{t,i}^{\prime \prime }={\mathbf{z}}_{t,i}^{\prime \prime }+l_S({\mathbf{z}}_S)$。零初始化的意义是初始时不破坏预训练视频模型，训练后逐步把几何条件注入主干。代码中对应 models.py 的 context_block1/context_block2、zero_linear1/zero_linear2，以及在 double blocks 后 img += condition1、single blocks 后 x += condition2 的残差注入。

3.4 Long-Range World Exploration：world cache、point culling 与 smooth sampling

单次扩散模型生成帧数有限，补全长路径必须自回归。传统自回归视频方法只把最近几帧作为条件，长时间后早期场景会被遗忘；Voyager 改用 point-cloud world cache 作为长期记忆。每一段 RGB-D 生成完成后，根据相机参数把所有帧反投影到 3D，累积成点云 $\hat{p}\in {\mathbb{R}}^{(T\times H\times W)\times 3}$。下一段生成时，从当前相机轨迹把缓存渲染成 partial RGB-D，作为模型条件。这个缓存是可增长、可渲染、可跨片段携带的世界状态。

如果把每帧所有像素都存进缓存，点数很快达到百万级，同时多帧噪声会累积。因此论文设计 point culling：对当前相机 $c_i$，先从已有缓存渲染可见性 mask $M=\mathrm{render}(\hat{p},c_i)$；不可见区域的新点直接加入，因为它们扩展了世界；可见区域若已有点的 surface normal 与当前视线方向夹角超过 90 度，也加入或更新，因为原点对当前视角并不可见或不可靠。这个策略保留关键几何信息，同时减少约 40% 存储，并降低多帧聚合导致的噪声。

smooth video sampling 处理相邻片段的过渡。论文把长视频分成重叠片段，重叠区长度为半个片段；当前片段的重叠区域用上一片段生成结果初始化噪声，使两个片段共享一段内容先验。完成相邻片段推理后，在重叠区域做 averaging，并注入轻量噪声，再做一轮最终 denoising 来细化颜色和纹理过渡。这个设计解决的是“每段内部空间一致，但直接拼接会有色彩/光照跳变”的问题。开源仓库中可见单次 49 帧条件生成和点云转换流程，但我在本次检索到的 main@6218ccd3 关键文件中没有找到完整命名的 world-cache/point-culling 长程调度模块；因此笔记里的长程缓存伪代码主要锚定论文算法描述，代码锚点则覆盖条件生成、RGB-D latent 注入、输出拆分和点云导出。

3.5 Scalable Video Data Engine：给任意视频补相机与 metric depth

训练 RGB-D 视频扩散需要大量视频、相机姿态和深度。论文收集了 RealEstate、DL3DV 和 Unreal Engine 渲染数据：RealEstate 有 74,766 个房地产相关视频片段；DL3DV 原始包含约 10K 真实场景视频，但很多镜头快速或抖动，作者筛出 3,000 个高质量视频并切成约 18,000 个片段；另外收集 1,500 个 UE 场景模型并渲染超过 10,000 个样本。最终训练集超过 100,000 个视频片段。

标注流程分三步。第一步用 VGGT 估计所有帧的相机参数和 depth。VGGT 的深度与相机位姿相互一致，但绝对深度质量不足。第二步用 MoGE 作为更鲁棒的单目深度估计器，并把 MoGE depth 对齐到 VGGT 的相机尺度；补充材料中对 inverse depth 做 least-squares：最小化 $\Vert M\cdot (scale/d_{MoGE}+bias-1/d_{VGGT}){\Vert }^2$，其中 mask $M$ 排除天空等无效区域。第三步用 Metric3D 估计场景 metric depth 范围，通过 0.2 和 0.8 分位差得到缩放 $s_{metric}$，再同时缩放 depth 和相机平移，保证不同数据源的尺度一致。代码中 data_engine/depth_align.py 的 scale_moge_depth() 使用 OneFormer 分割天空、用 0.2/0.8 分位过滤 outlier 并做 torch.linalg.lstsq；align_metric_depth() 用 Metric3D 与 MoGE 的分位差估计全局 metric scale。

补充材料还说明训练分三阶段：第一阶段只训练 RGB 视频模型，使用全部三类数据；第二阶段引入 depth 训练，但移除相机运动过快、不适合 depth training 的 DL3DV；第三阶段冻结 DiT 参数，只在 UE 数据上训练 ControlNet/context blocks，因为 UE 有 ground-truth depth。单次生成帧数为 49，训练时随机从 $[1,1.25,1.5,1.75]$ 选择宽高比以支持多种 aspect ratio。这个三阶段设计把任务从较容易的 RGB 生成，逐步过渡到 RGB-D 对齐，再过渡到几何条件跟随，降低直接端到端训练的难度。

3.6 代码映射与实现级伪代码

Code reference: main @ 6218ccd3 (2026-04-15)

Paper Concept	Source File	Key Class/Function
Demo 入口：图像、相机方向、prompt 到 RGB-D 视频	app.py, sample_image2video.py	create_condition(), generate_video(), main()
条件构造：深度反投影、目标相机重渲染、mask/depth 保存	data_engine/create_input.py	depth_to_world_coords_points(), render_from_cameras_videos(), create_video_input()
深度与相机标注：VGGT / MoGE / Metric3D 对齐	data_engine/vggt_infer.py, data_engine/moge_infer.py, data_engine/metric3d_infer.py, data_engine/depth_align.py	process_images_with_vggt(), DepthAlignMetric.scale_moge_depth(), DepthAlignMetric.align_metric_depth()
推理时加载 partial RGB-D 条件和 mask	voyager/inference.py	HunyuanVideoSampler.predict(), load_image()
latent concat 与 denoising loop	voyager/diffusion/pipelines/pipeline_hunyuan_video.py	HunyuanVideoPipeline.__call__()
RGB-D 输出拆分	voyager/diffusion/pipelines/pipeline_hunyuan_video.py	output postprocess around split rgb and depth
context/control blocks 注入	voyager/modules/models.py	HYVideoDiffusionTransformer.forward(), context_block1/2, zero_linear1/2
点云导出与 3D 重建接口	data_engine/convert_point.py	save_ply(), depth/RGB to PLY conversion

条件生成流程可以概括为以下伪代码，它对应开源 app.py 和 data_engine/create_input.py 的 demo 路径：

输入：单张 RGB image、相机方向 direction、目标长度 49
1. 用 MoGE 对输入图像估计 depth；无穷深区域填成最大有效深度之后的远值。
2. 用 camera_list 构造第一帧相机，把 depth 通过 depth_to_world_coords_points 反投影成点云。
3. 对目标 49 帧相机轨迹，调用 render_from_cameras_videos：
   a. world points 乘目标 extrinsic，投影到 intrinsic 像素坐标；
   b. 丢弃屏幕外和非正深度点，用 depth buffer 保留每个像素最近点；
   c. 输出 partial RGB render、可见性 mask、partial depth。
4. create_video_input 把 mask、render、depth 写入 video_input，并记录 depth_range。
5. sample_image2video.py 读取这些条件，调用 HunyuanVideoSampler 生成 RGB-D 视频。

模型推理流程对应 voyager/inference.py、pipeline_hunyuan_video.py 和 models.py：

输入：ref_image/ref_depth、partial_cond 序列、partial_mask 序列、prompt
1. load_image((rgb, depth)) 把 RGB、占位带、depth 沿高度维拼成参考条件。
2. partial_cond 与 partial_mask 被 resize、stack 成 [B,C,F,H,W] 后送入 VAE；mask 经过时间与空间 max_pool3d 对齐 latent 尺度。
3. pipeline denoising loop 中，若 i2v_condition_type == latent_concat：
   latent_model_input = concat(latents, img_latents_concat, mask_concat, partial_cond, partial_mask, channel_dim)
4. transformer 若启用 use_context_block：从输入高度维取出 depth 区域，经过 context blocks 和 zero linear 后注入 double/single stream。
5. VAE decode 后按高度切开输出：上半部分作为 RGB，下半部分转灰度 depth，再重新拼成可视化 RGB-D 视频。

论文级长程探索流程可概括为：

初始化 world_cache = backproject(first RGB-D)
for each camera segment s:
    partial RGB-D, mask = render(world_cache, camera_path_s)
    rgbd_clip = diffusion(prompt, partial RGB-D, mask, overlap init)
    new_points = backproject(rgbd_clip, camera_path_s)
    for each new point:
        if invisible in current cache rendering: add
        else if existing normal and current view direction angle > 90°: update/add
        else: discard as redundant
    world_cache = culled(world_cache ∪ selected new_points)
    smooth overlap with previous clip by averaging + light noise + final denoise
输出 long RGB-D video and accumulated point cloud / 3D reconstruction

4. 实验、结果与图表解读

4.1 Video Generation：RealEstate10K novel view synthesis

视频生成评估在 RealEstate 测试集随机选择 150 个视频片段。由于这些视频没有 ground-truth camera，作者使用自己的 data engine 估计相机和深度。比较对象包括 SEVA、ViewCrafter、See3D、FlexWorld；其中 ViewCrafter、See3D、FlexWorld 与 Voyager 类似使用点云条件控制视角，SEVA 直接使用相机参数。指标为 PSNR、SSIM、LPIPS，衡量生成帧与 ground truth 的视觉相似度。

表 1 中 Voyager 达到 PSNR 18.751、SSIM 0.715、LPIPS 0.277，均优于 FlexWorld 的 18.278 / 0.693 / 0.281、See3D 的 18.189 / 0.694 / 0.290、ViewCrafter 的 16.512 / 0.636 / 0.332 和 SEVA 的 16.648 / 0.613 / 0.349。这个结果说明在同样需要根据新视角补全未见区域的设置下，RGB-D 条件和联合生成确实提升了像素质量与结构稳定性。论文的 qualitative 图进一步显示，在相机移动较大时，baseline 更容易在大空洞处生成不合理内容；在商品细节案例中，Voyager 更能保留输入视图的局部纹理。

4.2 Scene Generation：生成视频能否直接用于 3D 重建

场景生成评估更接近 Voyager 的核心主张：生成结果不仅要像视频，还要能重建 3D。由于 baselines 只输出 RGB，作者对它们先用 VGGT 估计相机并初始化点云，再做 Gaussian Splatting reconstruction；Voyager 则有两种设置：一种也用 VGGT 后处理，另一种直接使用模型生成的 depth。表 2 中，SEVA+VGGT 为 15.581 / 0.602 / 0.452，ViewCrafter+VGGT 为 16.161 / 0.628 / 0.440，See3D+VGGT 为 16.764 / 0.633 / 0.440，FlexWorld+VGGT 为 17.623 / 0.659 / 0.425；Voyager+VGGT 已达到 17.742 / 0.712 / 0.404，而直接用 Voyager depth 可进一步达到 PSNR 18.035、SSIM 0.714、LPIPS 0.381。

这个对比很关键：如果 Voyager 的优势只来自更好看的 RGB，使用 VGGT 后处理和使用自身 depth 的差异应该不大；但直接使用自身 depth 明显降低 LPIPS 并提升 PSNR，说明联合 RGB-D 训练提供了对重建有用的几何信号。论文的 qualitative 例子显示，baseline 在吊灯等细节复杂的物体上甚至无法保持基本形状，而 Voyager 能保留更多结构细节。补充材料中的初始化点云对比也支持这一点：作者认为 Voyager 的 depth 生成比 VGGT 初始化更适合当前生成场景。

4.3 WorldScore：出域静态世界 benchmark

除了 RealEstate 的 in-domain 测试，论文还在 WorldScore static benchmark 上评估 world generation。WorldScore 包含 2,000 个静态测试样例，覆盖室内、室外、写实、风格化等多种世界；每个样例提供输入图像和相机轨迹。评估维度包括 Camera Control、Object Control、Content Alignment、3D Consistency、Photometric Consistency、Style Consistency、Subjective Quality 和平均分。比较对象包括 3D 方法 WonderJourney、WonderWorld，以及视频方法 EasyAnimate、Allegro、Gen-3、CogVideoX-I2V。

Voyager 的 WorldScore Average 为 77.62，为所有方法最高。分项上，Camera Control 85.95，低于 WonderWorld 的 92.98 但仍排名靠前；Object Control 66.92 为最高；Content Alignment 68.92 仅次于 WonderWorld 的 71.25；3D Consistency 81.56，略低于 WonderWorld 的 86.87 和 CogVideoX-I2V 的 86.21；Style Consistency 84.89 与 Subjective Quality 71.09 为最高。作者还指出，由于 Voyager 使用 metric depth 构造视频条件，它的相机运动幅度比不少方法更大，因此生成难度更高。这个结果说明 Voyager 不是只在房地产数据上过拟合，而是在更复杂的世界风格中保持了较好的视觉质量和可控性。

4.4 Ablation：depth、control blocks、point culling 与 smooth sampling 分别有什么贡献

世界一致视频扩散的消融分三阶段：RGB-only、RGB-D、full。表 4 中，RGB-only 的 Camera Control / Content Alignment / 3D Consistency 为 74.98 / 48.92 / 68.86；加入 RGB-D 后变为 85.04 / 65.72 / 78.58；再加入 control blocks 后达到 85.95 / 68.92 / 81.56。最大的跃迁来自 RGB-D 条件，尤其 Content Alignment 提升 16.8 分、3D Consistency 提升 9.72 分，说明深度不是辅助可视化，而是影响相机控制和内容保持的主要变量。control blocks 的增益较小但稳定，主要强化空间一致性和对输入条件的遵循。

长程探索消融关注 point culling 与 smooth sampling。作者报告，存储所有点会引入噪声，单纯存储 invisible region 的点又信息不足；加入 normal check 后，视觉表现接近存储所有点，但节省约 40% 存储。smooth sampling 则解决相邻 clip 拼接不一致：不用 sampling 时第二段与第一段之间会出现明显差异，使用 overlap 初始化、平均、噪声注入和最终 denoise 后，过渡更自然。

4.5 应用展示：长视频、Image-to-3D、风格迁移、视频深度

Voyager 支持四类 3D 相关应用。第一是 long-range video generation：给定三段完全不同的相机轨迹，模型依靠 world cache 和 smooth sampling 维持跨片段的相机可控和空间一致。第二是 Image-to-3D generation：论文用“车靠在帐篷旁”这样的多物体关系测试 Trellis、Rodin v1.5、Hunyuan-3D v2.5；Rodin 失败于帐篷，Trellis 帐篷缺损，Hunyuan 能生成两个物体但空间关系错误，而 Voyager 在视频/点云式表达下更好地保留相对位置。第三是 depth-consistent video transfer：固定 depth condition，仅替换 reference image，可以把视频改成美式风格或夜景，而无需训练一个新的风格视频模型。第四是 monocular video depth estimation：由于模型天然输出 depth，生成深度能保留建筑细节。

补充可视化展示了更多生成样例，主要用于说明方法在不同室内外场景和风格上的泛化。需要注意的是，这些图更偏 qualitative showcase，不应替代上面的 RealEstate、WorldScore 和 ablation 数字证据。

5. 局限、复现注意事项与阅读结论

Voyager 的第一个局限是对初始深度和相机条件质量敏感。虽然论文用 MoGE、VGGT、Metric3D 构建了更稳的数据引擎，推理 demo 中仍需要先对输入图像估 depth、设定相机路径、渲染 partial RGB-D。若输入图像本身深度歧义强、反射/透明/天空区域多，或者用户相机轨迹穿过薄结构和复杂遮挡，初始 world cache 可能带来错误条件。模型可以补全未知区域，但不能保证从错误几何出发仍得到物理正确的世界。

第二个局限是 long-range 一致性来自显式 point cloud cache，而不是严格物理仿真或拓扑建模。point culling 能减少冗余和噪声，但点云表达对透明物体、动态物体、细长结构和非朗伯表面仍然脆弱。smooth sampling 改善片段过渡，却主要处理颜色和局部纹理连续，不等价于全局光照一致、语义布局一致或可交互物理一致。论文展示了“infinite world exploration”的潜力，但实际无限扩展时仍可能有累计的尺度漂移、语义重复、局部几何膨胀或世界边界伪影。

第三个局限是训练与开源复现之间存在落差。论文描述了三阶段训练和超过 100,000 片段的数据构造；当前检索到的 Tencent-Hunyuan/HunyuanWorld-Voyager 代码主要释放了推理、demo、数据引擎、模型结构和点云导出，包含 config.py 中的训练参数定义，但没有看到完整训练 launcher、数据加载训练循环或论文长程 world-cache 调度的完整工程实现。因此复现实验表格中的训练过程仍需要额外资源、私有数据处理脚本或作者未释放的训练管线。做实现迁移时，可以优先复用开源代码的条件构造、RGB-D latent concat、context block 和 PLY 导出；若要复现论文的长程世界探索，需要自己实现 cache update、normal-based culling 和 overlap denoise scheduler。

第四个局限是评估仍以视觉质量和 benchmark 分数为主。RealEstate 的 PSNR/SSIM/LPIPS 衡量的是与估计相机下 ground truth frames 的相似度，WorldScore 衡量静态世界的控制和质量；它们不能完全覆盖用户在 VR/游戏中关心的交互性、碰撞关系、可导航闭环一致性、跨超长路径的拓扑稳定性等问题。Voyager 在生成式世界模型里迈出了“RGB-D 视频即世界状态”的重要一步，但距离完整可编辑、可物理交互、可长期导航的世界模拟器仍有距离。

我的阅读结论是：Voyager 的贡献在于把视频扩散的强视觉先验与显式 3D 缓存结合起来，避免了“只生成视频不能重建”和“只做 3D 生成数据不足”的两难。方法上最值得借鉴的是两个接口设计：其一，沿高度维拼接 RGB 与 depth，让同一个 DiT 在生成过程中联合建模外观和几何；其二，把每段 RGB-D 输出回投到 world cache，使生成模型和几何状态形成闭环。对于需要相机可控、长程一致、可转 3D 的世界模型任务，这个设计比单纯扩大视频模型上下文更工程可行；对于追求严格物理、动态交互和完全复现实验的场景，还需要补足开放训练代码、缓存调度实现和更强的几何/物理约束。