Can World Simulators Reason? Gen-ViRe: A Generative Visual Reasoning Benchmark

Paper: arXiv:2511.13853 Code: L-CodingSpace/GVR Code reference: main @ dd532d1d (2025-12-20)

1. Motivation (研究动机)

Chain-of-Thought (CoT) prompting 已经证明 LLM 能在符号推理领域（数学、代码生成等）展现强大的涌现推理能力。然而 CoT 本质上是离散符号操作——推理过程局限于语言 token 空间，无法模拟真实世界中连续的、受物理法则约束的动态过程。例如在迷宫任务中，CoT 能输出坐标序列 "(3,1), (2,1)…"，但无法模拟红色方块在路径中实际移动的动态过程；在机器人操作任务中，CoT 能描述步骤（“用撬棍、施加杠杆”），但无法验证力的方向是否充足、邻近物体是否干扰。

近期视频生成模型（Sora、Kling、CogVideo、HunyuanVideo 等）被提出作为**世界模拟器（World Simulators）**的候选者。它们通过 Chain-of-Frames (CoF) 机制——将推理物化为逐帧视频序列生成，每一帧代表一个受物理约束的推理步骤——从而实现从”被动描述者”到”可执行世界模拟器”的转变。CoF 与 CoT 的核心差异在于：CoT 执行离散符号转换（text → text），而 CoF 实现连续视觉状态演化（frame → frame）。

然而，当前对视频模型推理能力的评估存在根本性空白：

现有 benchmark 聚焦于视觉质量与对齐度：如 VBench、EvalCrafter、FETV、AIGCBench、T2V-CompBench、Video-Bench 等，主要衡量保真度（fidelity）、语义对齐（alignment）或对象级一致性（object-level consistency），完全不涉及 CoF 推理能力的测量。
无法评估核心认知能力：多步规划（multi-step planning）、算法逻辑（algorithmic logic）、抽象模式外推（abstract pattern extrapolation）等关键推理维度没有系统评估方法。
无法区分真正理解与高级模式匹配：缺乏严格的定量评估使得”视觉质量高 ≠ 推理能力强”这一假设无法被验证或证伪。
无法定位失败模式：不知道模型是在感知、物理理解还是规划层面失败，无法为改进提供有针对性的指导。

这些空白阻碍了对”视频模型究竟能否推理”这一核心问题的科学回答，也制约了从视频模型到真正世界模拟器的进化。

2. Idea (核心思想)

本文的核心贡献是提出 Gen-ViRe (Generative Visual Reasoning Benchmark)——第一个专门为系统评估视频生成模型的 Chain-of-Frames 推理能力而设计的综合 benchmark。

与现有 benchmark 聚焦于视觉保真度不同，Gen-ViRe 的根本创新在于：

将 CoF 推理分解为 6 个认知维度：基于认知科学理论（Kahneman 的快/慢思维、Gentner 的结构映射理论、Raven 渐进矩阵等）和实际 AI 应用需求（Embodied AI、自动驾驶等），构建了从基础感知到高阶规划的完整评估谱系，涵盖 24 个子任务。
采用最小提示原则（minimal prompting）：刻意只提供高层目标而非详细指令，以测试模型的自主推理能力而非指令遵循能力。
混合 VLM 辅助评估：使用 Gemini 2.5 Pro 作为统一评判器，对静态推理任务用 Image VLM 评判最终输出，对动态推理任务用 Video VLM 评判整个生成过程，配合每个子类别的详细评判标准。

Gen-ViRe 的实验结果揭示了一个关键发现：当前 SOTA 视频模型的视觉质量与实际推理深度之间存在显著差距——模型能生成视觉上令人印象深刻的内容，但在持续的逻辑一致性、物理合规性和多步规划方面表现有限。

3. Method (方法)

3.1 Generative Visual Reasoning 的形式化定义

作者首先对 Generative Visual Reasoning (GVR) 进行了概念定义：GVR 是 agent 通过模拟时空动态或执行多步计划的顺序生成过程来解决复杂视觉问题的能力。与传统判别式 VQA 的关键差异在于——GVR 不是评估一个确定性最终答案（类别标签或 bounding box），而是评估生成过程本身（帧序列 $F$ ）的逻辑连贯性、物理合理性和目标导向性。

GVR 通过 CoF 机制实现，形式化为自回归序列：

f_{i} = G (q, F_{< i})

其中 $q$ 是初始上下文或任务查询（如”解这个迷宫”）， $F$ 是完整推理序列， $F_{< i} = {f_{1}, \dots, f_{i - 1}}$ 是到前一步的生成历史， $f_{i}$ 是第 $i$ 步（即下一个生成帧）。整个推理序列 $F$ 构成一段完整且连贯的视频，视频本身就是模型”思考过程”的物化。

3.2 六维认知分类体系（Taxonomy）

Figure 2 解读：Gen-ViRe 的分类体系基于两个互补视角建立——(i) 认知科学理论基础：评估人类认知能力的核心支柱（感知推理、类比推理、抽象推理），提供 Perceptual、Analogical、Abstract 三个维度的理论依据；(ii) 应用驱动需求：来自 Embodied AI、自动驾驶等新兴领域的动态多步推理需求，提供 Planning、Spatial/Temporal、Algorithmic & Logical 三个维度的实践依据。图中展示了 6 个主维度及其 24 个子任务的完整树形结构。

六个维度的具体内容如下：

(1) Perceptual Reasoning（感知推理）

探测模型的基础认知能力：超越被动感知，主动推理视觉属性之间的逻辑关系。通过练习册式（worksheet-style）谜题测试四种逻辑类型：

Association（关联）：颜色匹配逻辑
Morphology（形态）：形状识别逻辑
Quantification（量化）：数量到数字的映射
Gestalt（格式塔）：部分到整体的推理

模型必须执行精确的时空动作（如”画一条连接线”）来展示推理结论，而非只输出静态答案。

(2) Analogical Reasoning（类比推理）

聚焦关系抽象能力。采用经典视觉类比任务（ $A \to B :: C \to ?$ ），模型必须执行两阶段推理过程：

发现阶段：通过比较源对 $(A \to B)$ 发现潜在变换规则
应用阶段：将推断的规则应用于新目标对象 $C$

Figure（类比推理案例）解读：展示了旋转与颜色两种类比推理任务的 Case Study。当前模型的类比推理性能与任务抽象复杂度直接相关——能轻松解决简单属性匹配（颜色），但在处理抽象的规则性变换（旋转）时暴露核心缺陷。这说明模型在”表面特征复制”和”深层规则理解”之间存在鸿沟。

(3) Algorithmic & Logical Reasoning（算法与逻辑推理）

评估模型遵循和执行形式规则与约束的能力。要求模型将符号推理应用于视觉领域，解决智力谜题：

Visual Sudoku：数独求解
Graph Traversal：图遍历
Geometry：几何推理
Crosswords：字谜

Figure（几何推理案例）解读：模型在复杂的符号依赖任务中暴露了关键的感知缺陷——无法将上下文中的抽象符号（如”D”）解析为可寻址的逻辑组件，反而将其误解为偶然的视觉噪声。这揭示了抽象逻辑推理与视觉感知之间的断裂。

Figure（数独推理案例）解读：Sora-2 的数独求解过程表现出令人关注的特征——使用”?”占位符并”移动”数字，表明它正在获得一种真正的算法能力，模拟”遵循数独规则”的问题解决过程，而非只是模式匹配最终答案。这是视频模型作为推理器的一个积极信号。

(4) Spatial & Temporal Reasoning（时空推理）

评估模型在连续场景中推理运动、因果关系和变化的能力。要求模型生成时间连贯且物理合理的 CoF。探测的能力包括：

Autonomous Driving：自动驾驶场景
VLA Manipulation：视觉-语言-动作操控
Maze Traversal：迷宫遍历
Spatial Obstacle Navigation：空间障碍物导航

Figure 1 解读：迷宫任务是论文开篇的核心对比示例。当 MLLM 使用 CoT 被要求寻路时，它以符号方式描述解决方案（输出坐标列表）；但无法模拟红色方块实际穿越路径的连续动态过程。这正是 CoF 推理要解决的问题——通过逐帧视频生成来物化推理过程。

Figure（空间障碍物案例）解读：此案例揭示了一个重要发现——抽象逻辑推理和物理现实模拟是两种不同的能力。模型在前者方面的卓越表现并不等同于对后者的掌握。在空间障碍物任务中，模型需要在第一人称机器人视角下自主推理隐含的物理和空间约束，而非仅仅遵循指令。

(5) Procedural & Planning Reasoning（程序与规划推理）

目标是模型的高阶认知能力——多步、目标导向的规划。要求模型将复杂目标分解为离散的、逻辑正确且顺序正确的子动作序列。探测四个领域：

Causal Tool Reasoning：因果工具推理（如选择正确的工具）
Sequential Task Decomposition：顺序任务分解（如换灯泡）
Hierarchical Digital Planning：分层数字规划（如 GUI 导航）
Physically-Constrained Assembly：物理约束组装（如逐块搭建并考虑物理稳定性）

(6) Abstract Reasoning（抽象推理）

测量模型的最高阶认知能力——识别和外推抽象模式与规则，与人类”流体智力（fluid intelligence）“密切相关。任务要求模型超越表面特征，发现数据中隐藏的生成原则：

Symmetry：对称性识别
2D/3D Rule Extrapolation：二维/三维规则外推
Raven’s Progressive Matrices：瑞文渐进矩阵

3.3 数据收集策略（Multi-Source Data Curation）

Gen-ViRe 采用多源数据收集策略，针对每个类别的独特需求设计：

Web 与学术资源：使用 Google 等搜索引擎以目标关键词收集候选图像，同时从相关学术论文中提取高质量图表和定性示例。特别是 Perceptual Reasoning 类别，还从 web 上搜集了大量儿童智力测试题（颜色、形状、数量匹配谜题）。所有素材经过严格的人工筛选和二次编辑。

现有数据集集成：从公开数据集中提取或改编任务——GUI 导航数据集（ScreenSpot-Pro）用于 Planning Reasoning，几何数据集（GeoLaux）用于 Algorithmic & Logical Reasoning，KiVA 用于 Analogical Reasoning，ARC-AGI（被广泛认为是流体智力评估的黄金标准）用于 Abstract Reasoning。

生成式数据创建：对于许多任务（特别是 Planning Reasoning 中的工具选择与使用），没有现成的大规模、逻辑一致的数据集。受 CoF 先驱工作的启发，作者定义了生成规则和底层逻辑，利用先进的 Text-to-Image 模型创建全新的视觉谜题，从而系统控制任务难度、组合复杂度和泛化要求。

3.4 Prompt 设计：最小提示原则

Gen-ViRe 遵循最小提示原则（minimal prompting principle）——旨在评估模型的自主推理能力，而非复杂指令的遵循能力。

以 Embodied Spatial Obstacle 任务为例：模型获得一张初始状态图像（如一个被大桌子和高凳子阻挡的厨房机器人第一人称视角）和一个高层目标（“这是机器人的第一人称视角。任务是去厨房的咖啡机处取纸巾。”）。Prompt 刻意不指定如何处理障碍物。成功的输出需要模型自主推理：

必须绕过大桌子，不能穿过它
必须执行物理动作将凳子移开（绕过或跨过被定义为失败）
交互必须由机器人操作臂完成（非人手），以遵守”机器人视角”约束

迭代式同行评审：每个任务草案由至少一名独立标注员审查，聚焦于歧义消解——将模糊语言（如歧义代词”它”或”那个”）替换为精确描述，确保高提示保真度。

3.5 评估方法论（Evaluation Methodology）

Figure（评估流程）解读：展示了 Gen-ViRe 的混合 VLM 辅助评估管线。评估标准的制定是一个独特的”人机协作”过程：(1) 团队先起草初步评估标准；(2) 将初步标准连同输入图像、文本 prompt 和任务目标提供给 Gemini 2.5 Pro，由其细化为更详细、严谨、可操作的评判 rubric；(3) VLM 生成的详细标准再经过团队的多人最终审查和修订。

评估方式分两类：

Image VLM 评判：用于评估最终视觉输出即可判断的任务（如类比推理、几何推理），Gemini 2.5 Pro 作为 Image VLM judge 评判最终帧
Video VLM 评判：用于需要评估整个生成过程的动态任务（如规划推理、时空推理），Gemini 2.5 Pro 作为 Video VLM judge 评判完整视频序列

关键设计：每个 VLM 评判器都配备了子类别专属的详细评判标准，评判器根据每项标准逐一分解和评估模型输出，提供独立评分。这种标准中心（criteria-centric）的方法确保了整个 benchmark 评估的一致性和严谨性。

3.6 代码仓库结构与评估 Pipeline

Code reference: main @ dd532d1d (2025-12-20) — pseudocode and mapping based on this commit

仓库提供了完整的评估 pipeline，由以下步骤组成：

# Step 1: 视频生成（用户需集成自己的模型）
# code/sample_psdl.py
def example_user_generate_function(prompt: str, image: Any) -> Any:
    """用户替换此函数为自己的视频生成模型"""
    video = your_model.generate(prompt=prompt, image=image)
    return video  # 返回视频文件路径或视频对象
 
# Step 2: 从生成视频中提取帧
# code/step1_extract_all_frames.py
# 支持 batch / dimension / task 三种模式
 
# Step 3: 生成 VLM 评估配置
# code/step2_generate_configs.py
# 为每个任务生成包含详细评判标准的评估 JSON
 
# Step 4: 批量 VLM 评估
# code/step3_batch_eval.py（总控脚本）
# code/step3_batch_eval_c1_abstract.py（Abstract Reasoning 专用）
# code/step3_batch_eval_c2_algorithmic.py（Algorithmic & Logical 专用）
# ...每个维度有独立的评估脚本
 
# Step 5: 结果汇总
# code/step4_generate_summary.py
# 生成 {model_name}_{task}_summary.csv

每个推理维度有独立的评估脚本和评估标准 JSON：

c1_abstract_reasoning/ — 含 2D/3D rule extrapolation、Raven matrix、symmetry 子目录
c2_algorithmic_logical_reasoning/ — 含 crossword、geometry、graph、sudoku 子目录
c3_perceptual_reasoning/ — 含 color、gestalt、number_quantity、shape 子目录
c4_analogy_resoning/ — 含 color_analogy、rotation 子目录
c5_planing_reasoning/ — 含 assemble、gui、sequential、tool 子目录
c6_spatial_reasoning/ — 含 autonomous_driving、maze、spatial_obstacle、vla 子目录

生成的视频组织结构：每个模型生成 5 个版本（model_name_0 到 model_name_4），每个版本包含 72 个推理 prompt 对应的视频，按维度和任务分层组织。

Code-to-paper mapping table

Paper Concept	Source File / Dir	Key Function / Structure
视频生成集成接口	`code/sample_psdl.py`	`example_user_generate_function(prompt, image)` — 用户替换模型调用入口
帧提取（评估预处理）	`code/step1_extract_all_frames.py`	从生成视频提取评估用帧
VLM 评估配置生成	`code/step2_generate_configs.py`	按任务生成含详细标准的 JSON 配置
批量 VLM 评估总控	`code/step3_batch_eval.py`	调度各维度的评估脚本
Abstract Reasoning 评估	`code/step3_batch_eval_c1_abstract.py`	抽象推理维度评估逻辑
Algorithmic & Logical 评估	`code/step3_batch_eval_c2_algorithmic.py`	算法逻辑推理维度评估
结果汇总	`code/step4_generate_summary.py`	生成 per-task summary CSV
各维度评估标准与数据	`c1_abstract_reasoning/` ~ `c6_spatial_reasoning/`	含 `_eval.json`（评估标准）、`_eval.py`（评估脚本）、`input_images/`（输入图像）、`*_ds/`（数据集元数据）
运行评估 shell 脚本	`code/run_eval.sh`	端到端评估 pipeline 启动入口

4. Experimental Setup (实验设置)

评估模型

评估了 7 个 SOTA 视频生成模型：

模型	类型	默认时长	宽高比
Kling-v1	商业	10s	16:9 或 9:16（按输入图像方向）
Seedance-1.0-Pro	商业	10s	同上
Seedance-1.0-Lite	商业	10s	同上
Veo-3.1	商业	8s	同上
Sora-2	商业	8s	同上
Wan-2.5	开源	10s	同上
Hailuo-2.3	商业	5s	同上

Benchmark 规模

6 个认知维度，24 个子任务
72 个推理 prompt（每个维度约 12 个）
每个模型每个 prompt 生成 5 个实例
每个模型共 360 个视频
总计超过 2,500 个视频

评估指标

遵循 MEGA-BENCH 的聚合策略：

每个任务的评分先归一化到 [0, 1] 范围（1.0 表示完全符合所有标准）
报告所有归一化分数的 macro-mean 作为综合性能指标

评估 VLM

统一使用 Gemini 2.5 Pro 作为评判模型，根据任务性质分别以 Image VLM 或 Video VLM 模式工作。

5. Experimental Results (实验结果)

5.1 主实验结果

Figure 5 解读：雷达图展示了 7 个模型在 6 个推理维度上的表现对比。Sora-2 在大部分维度上领先，但 Hailuo-2.3 在 Planning 维度表现最强。各模型的优势领域各不相同，没有单一模型在所有维度上都占主导地位。整体来看，Planning 维度的得分普遍最高（说明当前模型对顺序动作分解已有一定能力），而 Algorithmic & Logical 维度得分普遍最低（形式规则执行仍是最大挑战）。

定量结果揭示了清晰的性能层次：

模型	Overall	Perceptual	Analogy	Alg. & Logical	Spatial & Temporal	Planning	Abstract
Sora-2	0.560	0.496	0.433	0.472	0.503	0.650	0.604
Hailuo-2.3	0.493	0.438	0.367	0.430	0.336	0.778	0.503
Wan-2.5	0.490	0.404	0.500	0.408	0.403	0.694	0.508
Veo-3.1	0.486	0.425	0.300	0.451	0.543	0.722	0.389
Seedance-1.0-Pro	0.380	0.363	0.300	0.340	0.360	0.439	0.460
Seedance-1.0-Lite	0.279	0.221	0.267	0.218	0.206	0.417	0.328
Kling-v1	0.198	0.142	0.133	0.158	0.128	0.411	0.141

第一梯队：Sora-2 以 0.560 的总分领先，在最具认知挑战的领域表现最强——Abstract Reasoning (0.604)、Algorithmic & Logical (0.472)、Perceptual (0.496)。

第二梯队：三个竞争激烈的模型——Hailuo-2.3 (0.493)、Wan-2.5 (0.490)、Veo-3.1 (0.486)，各有专长：

Hailuo-2.3 在 Planning 维度最强 (0.778)，展现卓越的顺序决策能力
Wan-2.5 在 Analogy 维度领先 (0.500)，擅长类比推理
Veo-3.1 均衡发展，在 Algorithmic & Logical (0.451) 和 Planning (0.722) 均排第二，且 Spatial & Temporal 最高 (0.543)

第三梯队：Kling-v1 (0.198) 和 Seedance-1.0-Lite (0.279) 得分远低于领先模型。

5.2 关键定性发现

论文的 Case Study 揭示了若干重要的定性洞察：

Case 1 — 类比推理的复杂度瓶颈：模型能轻松解决简单的属性匹配（颜色类比），但在抽象规则变换（旋转类比）上暴露核心缺陷。性能与任务抽象复杂度直接相关。

Case 2 — 逻辑推理 ≠ 物理模拟：抽象逻辑推理（遵循算法规则）和物理现实模拟（遵守物理合理性）是两种独立能力。在一个方面的卓越并不意味着另一方面的掌握。

Case 3 — 符号感知的失败：在几何等符号密集任务中，模型无法将抽象符号解析为可寻址的逻辑组件，反而将其视为视觉噪声。

Case 4 — 算法能力的涌现：Sora-2 在数独任务中表现出使用”?”占位符和”移动”数字的行为，暗示它正在获得真正的算法模拟能力——模拟问题解决过程而非模式匹配。

5.3 核心结论与局限

核心发现：视频生成模型正在从视觉合成器向世界模拟器过渡，但视觉质量与推理深度之间存在显著差距。模型能生成令人印象深刻的视觉内容，却在以下方面表现有限：

持续的逻辑一致性（sustained logical coherence）
物理合规性（physics compliance）
多步规划（multi-step planning）

Gen-ViRe 的诊断价值：通过识别模型在感知基础（perceptual grounding）、空间推理（spatial reasoning）还是目标导向规划（goal-directed planning）方面的具体缺陷，Gen-ViRe 能提供可操作的改进指导。

局限：

评估规模相对有限（72 个 prompt），未来可扩展到更大规模
论文未详细讨论 VLM 评判器自身的偏差和局限
当前仅评估 Image-to-Video (I2V) 模式，未覆盖 Text-to-Video (T2V) 纯文本输入场景
各维度的任务数量不完全均衡
评估标准虽经过人工验证，但 VLM-as-Judge 范式本身的可靠性仍需更多验证

Paper Notes

探索

Can World Simulators Reason? Gen-ViRe: A Generative Visual Reasoning Benchmark

Can World Simulators Reason? Gen-ViRe: A Generative Visual Reasoning Benchmark

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Generative Visual Reasoning 的形式化定义

3.2 六维认知分类体系（Taxonomy）

(1) Perceptual Reasoning（感知推理）

(2) Analogical Reasoning（类比推理）

(3) Algorithmic & Logical Reasoning（算法与逻辑推理）

(4) Spatial & Temporal Reasoning（时空推理）

(5) Procedural & Planning Reasoning（程序与规划推理）

(6) Abstract Reasoning（抽象推理）

3.3 数据收集策略（Multi-Source Data Curation）

3.4 Prompt 设计：最小提示原则

3.5 评估方法论（Evaluation Methodology）

3.6 代码仓库结构与评估 Pipeline

4. Experimental Setup (实验设置)

评估模型

Benchmark 规模

评估指标

评估 VLM

5. Experimental Results (实验结果)

5.1 主实验结果

5.2 关键定性发现

5.3 核心结论与局限

目录