Z Tech｜对话童晟邦：师从LeCun与谢赛宁，视觉大模型的下一站是World Model

World Model 的重点不是 action，而是 state transition

童晟邦把 world model 定义成预测“状态如何演化”的系统：有 action 时是 state + action -> next state，没有显式 action 时，时间推进或自然演化本身也可以被看作隐式 action。这个定义把机器人、游戏和真实视频放到同一类问题里，因为它们都要求模型掌握状态变化的规律，而不只是识别当前画面。文章里反复强调，最常见、数据量最大的模式其实是 natural transition，例如云层变化后下雨、物体松手后下落。实际判断一个模型是否接近 world model，不能只看它能不能接收动作指令，而要看它是否能稳定建模自然世界中的因果动态，并在引入 action 后把这种能力迁移过去。

统一视觉模型要消掉理解与生成之间的表征断层

访谈把视觉理解和视觉生成的分裂归结为表征形式不一致：理解任务常依赖 high-dimensional representation，diffusion 生成任务常依赖 low-dimensional latent space，两者天然容易错位。童晟邦的研究路径从分析早期多模态模型失败的视觉表征问题开始，逐步转向 unified model，也就是让同一个模型同时支持 understanding 和 generation。这里的关键不是选定某一种固定范式，而是尽量“无损”地处理视觉信息，使表征既能保留语义细节，也能服务生成动态。RAE 一类工作在这条线上有明确意义：它试图用统一的高维表征减小理解与生成之间的接口损耗，让两种能力互相促进，而不是被拆成两套模型。

多模态 scaling 的限制经常先出现在数据和系统，而不是算法名词

文章对研究路径的一个重要修正是：早期看起来像方法问题的多模态失败，很多时候真正卡在视觉数据质量、数据规模和系统可扩展性上。童晟邦提到，大模型时代的视觉研究从 ImageNet、检测、分割这类封闭任务，转向 open-ended setting，数据不再固定，任务边界也更模糊；在这种环境下，单纯换一个算法设计往往不能解释性能上限。TPU 经历也说明同一件事：算力能打开更大规模实验，但 PyTorch 动态图、视觉 batch 形态不固定、SDPA kernel 等底层兼容问题会直接决定研究能不能跑起来。做多模态模型时，方法创新需要和数据管线、硬件生态、调试能力一起评估，否则很容易把工程不可扩展误判成模型思想不成立。

3D 更适合作为 proxy task，而不是必须显式建模的目标

童晟邦把 3D 类比成语言里的“语法”：一个好的 world model 应该隐含理解三维结构，但不一定要把显式 3D 重建作为训练主目标。理由来自 bitter lesson：2D 图像和视频数据规模远大于 3D 数据，获取成本也低得多，因此从 2D/video 中通过大规模学习逼近 3D 结构，通常比依赖显式 3D 标注更可扩展。DINO、MAE 初始化后接 3D 任务头能获得较强 3D 能力，也支持这种 implicit 3D 路线。更合理的用法是把 3D 作为约束、评估或 proxy task，检查模型是否学到了空间组织规律，而不是把可扩展性较差的 3D 数据形式当成唯一入口。

Multimodal 的下一步不是寻找 killer task，而是把任务重写成 simulation

访谈里对应用形态的判断不是“哪个 multimodal 任务会爆发”，而是越来越多任务会被统一改写成 state transition 或 simulation 问题。gaming 是最直接的例子：定义 state、action 和 transition 后，物理交互、规划、工具使用都可以落到类似 game engine 的表达里。PPT 制作的例子也说明，原本被看作手工编辑的任务，在语言模型和工具调用环境中可以重写成生成式过程。这个视角的实际意义是，评估 multimodal model 时不应只堆 VQA 或单次生成任务，而要看模型是否能把复杂任务转成可推进、可校正、可模拟的状态序列。

长时序视觉的难点在记忆，而不在单帧识别

文章把尚未解决的视觉问题集中到 long temporal sequence 和 continuous scene modeling 上，而不是传统检测、分割或单帧推理。跳绳数数、杯子藏球这类例子看似简单，却要求模型持续跟踪状态、保留中间信息，并在长上下文里避免记忆漂移。童晟邦认为未来视觉会从 single-turn 问答走向 continuous interaction：系统长期存在于环境中，持续记录、检索和推理，而不是用户上传一张图后问一句话。瓶颈也因此变成两层：一是缺少足够好的长时序评测定义，二是模型还没有稳定的视觉记忆机制；如果这两层不解决，智能眼镜、Vision Pro 式持续视觉助手就很难真正落地。