UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?

Paper: arXiv:2603.03241 Code: nssmd/UniG2U Code reference: main @ 50206c3f (2026-04-02)

1. Motivation (研究动机)

1.1 论文要问的问题：生成能力到底有没有反哺理解？

UniG2U-Bench 关注的不是“unified multimodal model 能不能生成图像”，而是一个更难回答的问题：把 generation 和 understanding 放进同一个模型或同一个系统后，生成能力是否真的让模型更会“理解”视觉问题？近两年很多 unified model 同时支持图像理解、图像生成、图像编辑或 video/image interleaving，直觉上似乎符合 Feynman 式命题：如果模型能“画出来”，它也许更“懂”。但作者指出，现有证据主要证明了 understanding helps generation，例如强 VLM backbone 帮助图像生成遵循文本和视觉约束；反向的 generation helps understanding 仍缺少系统性评测。

现有多模态理解 benchmark 往往把答案限制在 text-only output：模型看图后回答文字，最多给出自然语言 CoT。这样会掩盖一类视觉推理任务的本质需求：几何辅助线、迷宫路径、拼图状态、物理过程、视觉错觉和空间变换往往不是纯文本描述能稳定替代的。模型可能在传统 VQA 上表现不错，却在必须外化中间视觉状态的任务上失败。UniG2U 的动机就是把这种差异显式暴露出来。

Figure 1 解读：雷达图把代表性模型放在七类 reasoning regime 上比较。它直观显示 G2U 不是单调收益：有些模型在 Physics、Spatial Intelligence 或 Perception Reasoning 上接近或超过 baseline，但在 Geometry、Chart 或 Real-world Apps 上会明显掉点。这正是论文要研究的现象：generation capability 并不会自动转化成全面 understanding gain。

1.2 为什么需要一个新的 benchmark

作者认为已有 unified benchmark 有三个缺口。第一，样本和任务覆盖不足，例如 MME-Unify、Uni-MMMU、ROVER、RealUnify 的 understanding samples 和 subtasks 都少于 UniG2U；第二，很多 benchmark 没有严格把 unified model 与其 base VLM 配对，因此无法区分“backbone 本来就强”和“generation/unification 带来的增益”；第三，缺少同时比较 Direct inference 与 Generate-then-Answer (GtA) 的协议，因而无法拆开隐式 unified training 和显式中间图像生成的作用。

UniG2U 因此被设计成 diagnostic benchmark：3,000 个样本、7 个高层类别、30 个细粒度子任务、30+ 个模型，并且尽量把 unified model 与对应 base VLM 放在相同任务、相同 prompt、相同 inference budget 下比较。这样它不是只给出一个 leaderboard，而是试图回答：什么任务会从生成中受益，什么任务会被错误中间图像误导，以及哪些架构/基础模型会产生相似的 G2U inductive bias。

2. Idea (核心思想)

核心思想可以概括为：把“生成是否帮助理解”拆成可测的能力差分，而不是把 unified model 的最终准确率直接当成证据。 UniG2U 同时比较 base VLM、unified model 的 Direct 输出，以及 unified model 的 GtA 两阶段输出，用 $Δ_{Direct}$ 和 $Δ_{GtA}$ 隔离 unified architecture / unified training 与显式 visual scaffold 的不同影响。

2.1 从 leaderboard 转向 causal diagnostic

如果只看一个 unified model 的最终 accuracy，结论很容易混淆：模型可能因为 backbone 更强而高分，也可能因为生成训练损害了 perception fidelity 而低分，还可能因为显式中间图像把错误信息传给第二阶段而掉点。UniG2U 的关键创新是把这些因素拆开：同一个模型家族内先找 paired base VLM，再比较 unified Direct 与 base 的差值，最后比较 unified GtA 与 base / Direct 的差值。这样 $Δ_{Direct}$ 更接近“统一训练或统一参数空间带来的隐式表征变化”，而 $Δ_{GtA}$ 更接近“显式生成中间视觉状态的干预效果”。

2.2 为什么要同时看任务 taxonomy 与中间图像质量

论文的另一个核心 insight 是：generation 不是单一开关，它只在特定任务结构下可能有用。迷宫、滑块、multi-step spatial reasoning 需要持续更新视觉状态，中间图像可以像外部工作区；但 ChartQA、细粒度识别或严格几何题中，错误生成图会把原始视觉证据污染掉。因此 UniG2U 不只报告 overall score，还把 3,000 个样本按 7 类/30 子任务拆开，并用 RA/AL 诊断中间图像是否“按要求画出来”以及“答案是否真的基于这张图”。

2.3 与已有 benchmark 的根本差异

与 MMMU、ChartQA、IllusionBench 这类单任务或常规 VQA benchmark 不同，UniG2U 的新意不是提出一个新题型，而是把多类“可能需要生成中间状态”的任务放在同一框架下，并加入 RA/AL 两个中间图像诊断指标。这样即使 GtA 最终准确率下降，也可以继续追问：是模型不会生成有用图，还是生成图与答案逻辑不一致，或者该任务本来就不该用显式生成？

从方法论上看，它和 ROVER/RBench-V 这类 multi-modal output evaluation 有关联，但 UniG2U 更强调 paired base-model comparison 和 generation-to-understanding gain。也就是说，它不满足于评估“模型能不能输出视觉中间结果”，而是问“视觉中间结果或 unified generative training 是否让最终理解准确率相对 base VLM 发生了可解释变化”。这使论文最后的结论更细：不是简单否定 unified model，而是指出 G2U gain 有任务依赖、backbone 依赖和 alignment fidelity 依赖。

3. Method (方法)

3.1 形式化定义：UMM、Direct、GtA 与 G2U Gain

论文把每个样本写成 $x = (V, T, Q)$ ： $V$ 是视觉上下文， $T$ 是文本说明或上下文， $Q$ 是待回答问题，目标答案是 $y \in Y$ 。纯理解模型直接映射到答案： $\overset{y}{^} = M_{U} (x), M_{U} \in M_{U} .$ Unified multimodal model $M_{U M}$ 额外具备生成接口，可以在同一输入条件下产生中间视觉 artifact $G$ ，例如图像、草图、标注、重建或编辑结果。论文将其抽象成两个接口： $G = Gen_{M_{U M}} (x, p_{g}), \overset{y}{^} = Ans_{M_{U M}} (x, G, p_{a}),$ 其中 $p_{g}$ 是生成提示， $p_{a}$ 是回答提示。Direct 模式不显式产生 $G$ ，直接回答；GtA 模式先生成 $G$ ，再把原图、问题和生成图一起送回模型回答。核心性能差分定义为： $Perf (M; D) = E_{(x, y) \sim D} [A (M (x), y)],$ $Δ_{Direct} = Acc_{M_{U M}}^{Direct} - Acc_{B (M_{U M})}, Δ_{GtA} = Acc_{M_{U M}}^{GtA} - Acc_{B (M_{U M})} .$ 这里 $B (M_{U M})$ 是严格配对的 base VLM。这个定义很重要：如果一个 unified model 比另一个模型高，可能只是 backbone 更强；但如果它相对自己的 base VLM 有正的 $Δ$ ，才说明 unified/generative path 可能带来了净增益。

3.2 UMM taxonomy：不是所有 unified model 都是同一种“统一”

Figure 2 解读：图中把被测模型按统一方式和生成范式放在一张坐标图中。BAAI/Emu3、LFM、Bagel、UniPic2、Gemini 等模型不只是名字不同，它们在 text paradigm、image paradigm、是否 end-to-end、是否 decoupled、是否 agentic 上都有差异。这个 taxonomy 防止把所有“能生成又能理解”的模型混为一谈。

论文把 UMM 分成三类：

End-to-end unified models (E2E)：generation 和 answer 共享参数 $θ$ ，在统一参数空间内共同训练，例如 Bagel、UniPic2。这类模型最符合“统一训练可能改变内部表征”的假设。
Decoupled unified systems：生成模块与回答模块分离，用 $ϕ$ 和 $ψ$ 两套参数通过 pipeline 拼接。它可以产生 $G$ ，但 generation 与 understanding 未必共同训练，因此更适合分析 explicit scaffold 的作用。
Agentic unified models：生成与理解甚至由完全不同的模型完成，统一性来自 protocol/tool-use，而不是架构共享。论文把 GPT-4o + GPT-image、Gemini Pro + Nano Banana Pro 这类系统也纳入比较，以观察强闭源 agentic pipeline 的上界。

这一区分解释了为什么“统一模型”并不是单一技术路线：同样能做 GtA，E2E 模型可能受 shared representation 影响，decoupled system 更像模块化视觉工具链，agentic model 则可能只是强模型调用强生成器。

3.3 Benchmark 构造：7 类、30 个子任务、3,000 样本

Figure 3 解读：这张 overview 展示每个类别里输入图、reasoning scaffold 和最终答案之间的关系。红色虚线框代表 generation step，绿色框代表 final answer。图中最关键的是：UniG2U 并不假设所有任务都需要同一种中间图像，而是让不同任务暴露不同的视觉外化需求，例如 spatial relation、maze path、chart simplification、illusion discrimination。

Figure 4 解读：圆形 taxonomy 把 30 个细粒度子任务归到 7 个高层类别。越靠近中心的是任务大类，外圈是具体 subtask，如 MSR、Attribute、Motion、Maze、Jigsaw、Sliding、Icon-Shape、In-shape 等。它强调 UniG2U 的设计不是从单一数据源抽样，而是围绕“视觉生成可能作为推理工具”的结构属性来组织任务。

数据集构成如下：

Category	Subtasks	Data sources	# Samples
Real-world Applications	Attentional Focusing; Visual Shortest-Path	VSP, RealUnify	200
Geometry Reasoning	Planar Geometry; Solid Geometry	Geometry3K, AuxSolidMath-Easy	200
Physics Reasoning	Mechanics; Optics	PhyX	200
Puzzles and Games	Mental Reconstruction; Mental Tracking; Visual Tracking; Maze; Jigsaw; Sliding	Uni-MMMU, RealUnify, BabyVision	537
Chart & Table Reasoning	Chart Question Answering	ChartQA	100
Spatial Intelligence	MSR; Attribute (Measurement); Attribute (Approximation); Motion (Camera); Motion (Object)	MMSI-Bench	500
Perception Reasoning	Icon/shape/scene/logo variants; Algorithmic; Deductive; Spatial; Analogical; Inductive	IllusionBench, Visual Puzzles, BabyVision	1263
Total	30 fine-grained subtasks	Multiple sources	3,000

这些类别的选择遵循两个原则。第一，它们要代表不同 cognitive structure，而不是只按数据集来源分类。第二，它们理论上都可能存在 G2U synergy：空间推理和 puzzles 可通过中间状态降低工作记忆负担，chart/table 可通过重表达降低视觉解析负担，perception reasoning 则用于测试生成是否会损害原始感知辨别能力。

3.4 Evaluation protocol：Direct 与 Generate-then-Answer

Figure 5 解读：左侧 Direct 模式只把原图和问题送入模型，比较 base model、agentic model、unified model 的最终答案。右侧 GtA 模式先让模型按 generation prompt 画出辅助图，再把原问题和生成图送入 answering step。图中蓝色气泡是生成/回答的提示，红叉和绿勾展示了中间图像可能帮助也可能误导最终答案。

GtA 的关键不是“多一步就一定更强”，而是把 generation 变成可观测干预。Direct 测的是 unified training 或架构耦合对理解的隐式影响；GtA 测的是显式外化 $G$ 作为 Visual CoT 是否帮助答案。论文在 fair comparison 上做了两点控制：一是 paired base VLM 在相同 dataset、prompt template、inference budget 下比较；二是对没有 image-edit training 的模型，不把 OOD 的 GtA 结果纳入主表，以免把“模型根本不该做编辑”当成 G2U 失败。

3.5 中间图像诊断：RA 与 AL

Figure 6 解读：RA 和 AL 都是 1–5 分 rubric，但关注点不同。RA 评估生成图是否按 generation prompt 产生了可用 scaffold，权重是 instruction following 40%、visual quality 30%、task relevance 30%。AL 评估最终答案是否与生成图逻辑一致，权重是 consistency 50%、Q-A alignment 30%、reasoning 20%。因此高 RA 说明图像“画得像任务要求”，高 AL 才说明图像真的被答案正确利用。

RA/AL 的引入让论文能区分三种失败：生成图本身不符合提示（低 RA），生成图看似合理但答案没有正确利用（RA 中等、AL 低），以及生成图正确但任务不需要显式生成（RA/AL 高但最终准确率不一定提升）。released code 中对应实现位于 lmms_eval/rover_eval/visual_cot_evaluator.py 与 lmms_eval/rover_eval/visual_cot_prompts.py，通过 GPT-4o 对 metadata JSON 中的 original image、generated images、generation prompt、question、answer 做评分。

3.6 代码实现视角：released code 如何跑 UniG2U

Code reference: main @ 50206c3f (2026-04-02) — pseudocode and mapping based on this commit

核心实现基于 lmms-eval 扩展，而不是一个单独训练框架。标准评估脚本 script/eval_all.sh 的 direct task list 包含 auxsolidmath_easy, chartqa100, geometry3k, babyvision, illusionbench_arshia_test, mmsi_*, phyx_simple, realunify, uni_mmmu, vsp, VisualPuzzles，默认 BATCH_SIZE=${BATCH_SIZE:-4}。GtA 脚本 script/eval_all_cot.sh 使用对应的 _visual_cot / _cot 任务，并同样默认 batch size 4。

论文公式与 released code 实现差异：论文中的主结果是 3,000 样本全量 benchmark 上的 matched-budget 评估；但 script/eval_all_cot.sh 当前命令行在 python -m lmms_eval 后保留了 --limit 1，这更像 smoke test。若用户直接照搬该脚本，只会每个任务评 1 个样本，不能复现 Table 4；要复现论文结果需要移除该限制并按完整任务配置运行。

实际 Visual CoT wrapper 以 Bagel 为例，lmms_eval/models/simple/bagel_visual_cot.py 中的关键配置来自任务 YAML 和模型 wrapper，而不是 generic README：ChartQA Visual CoT 的 lmms_eval/tasks/chartqa/chartqa100_visual_cot.yaml 指定 stage1_cfg_text_scale=4.0, stage1_cfg_interval=0.4, stage1_timestep_shift=3.0, stage1_num_timesteps=50, stage2_max_new_tokens=16, stage2_temperature=0.0, stage2_do_sample=false, save_intermediate=true。Direct ChartQA 则在 chartqa100.yaml 中使用 max_new_tokens=16, temperature=0, do_sample=False 和 relaxed correctness。

def run_direct_suite(model, model_args, tasks, batch_size=4):
    scores = {}
    for task in tasks:
        outputs = lmms_eval.generate_until(
            model=model,
            model_args=model_args,
            task=task,
            batch_size=batch_size,
            log_samples=True,
        )
        scores[task] = aggregate_task_metrics(outputs)
    return aggregate_results(scores, mode="standard")
 
 
def run_visual_cot_suite(model, model_args, cot_tasks, batch_size=4):
    scores = {}
    for task in cot_tasks:
        # Released script currently has --limit 1; full paper reproduction should remove it.
        outputs = lmms_eval.generate_until(
            model=model,
            model_args=model_args,
            task=task,
            batch_size=batch_size,
            log_samples=True,
        )
        scores[task] = aggregate_task_metrics(outputs)
    return aggregate_results(scores, mode="cot")

class VisualCoTModel:
    def generate_until(self, requests):
        answers = []
        for ctx, gen_kwargs, doc_to_visual, doc_id, task, split in requests:
            original = doc_to_visual(self.task_dict[task][split][doc_id])[0]
 
            gen_prompt, question = parse_tagged_prompt(
                ctx,
                gen_tag="[GEN_PROMPT]...[/GEN_PROMPT]",
                question_tag="[QUESTION]...[/QUESTION]",
                fallback_template=self.generation_prompt_template,
            )
 
            stage1_text, generated_paths = self._stage1_generate_image(
                generation_prompt=gen_prompt,
                original_image=original,
                doc_id=doc_id,
                task=task,
                cfg_text_scale=4.0,
                cfg_interval=0.4,
                timestep_shift=3.0,
                num_timesteps=50,
            )
            if not generated_paths:
                answers.append(stage1_text or "")
                continue
 
            final_answer = self._stage2_answer_with_image(
                question=question,
                image_path=generated_paths[0],
                original_image=original,
                max_new_tokens=16,
                temperature=0.0,
                do_sample=False,
            )
            self._save_intermediate_artifacts(
                doc_id=doc_id,
                task=task,
                generation_prompt=gen_prompt,
                stage1_text=stage1_text,
                generated_images=generated_paths,
                question=question,
                stage2_answer=final_answer,
            )
            answers.append(final_answer)
        return answers

def evaluate_visual_cot_metadata(metadata_json, gpt4o_client):
    item = load_json(metadata_json)
    ra_prompt = build_reasoning_visual_prompt(
        task=item["task"],
        question=item["question"],
        generation_prompt=item["generation_prompt"],
    )
    ra = gpt4o_client.score(
        prompt=ra_prompt,
        images=[item["original_image"], *item["generated_images"]],
        schema={"reasoning_visual_score": "int_1_to_5", "reasoning": "str"},
    )
 
    al_prompt = build_answer_visual_alignment_prompt(
        task=item["task"],
        question=item["question"],
        answer=item["stage2_answer"],
    )
    al = gpt4o_client.score(
        prompt=al_prompt,
        images=[item["original_image"], *item["generated_images"]],
        schema={"answer_visual_score": "int_1_to_5", "reasoning": "str"},
    )
    return {"RA": ra.score, "AL": al.score}

Paper Concept	Source File	Key Class/Function
Direct benchmark sweep	`script/eval_all.sh`	standard task loop, `BATCH_SIZE=${BATCH_SIZE:-4}`, `python -m lmms_eval`
GtA / Visual CoT benchmark sweep	`script/eval_all_cot.sh`	`_visual_cot` / `_cot` task loop; current code contains `--limit 1` smoke-test limiter
Model-specific two-stage Visual CoT	`lmms_eval/models/simple/bagel_visual_cot.py`	`BagelVisualCoT.generate_until`, `_stage1_generate_image`, `_stage2_answer_with_image`
Other UMM wrappers	`lmms_eval/models/simple/*_visual_cot.py`	`OmniGen2VisualCoT`, `OvisU1VisualCoT`, `OneCATVisualCoT`, etc.
Task prompts and metrics	`lmms_eval/tasks//.yaml`, `lmms_eval/tasks/*/utils.py`	`doc_to_text`, `doc_to_visual`, `process_results`, task-specific aggregation
RA/AL evaluator	`lmms_eval/rover_eval/visual_cot_evaluator.py`	`evaluate_reasoning_visual_alignment`, `evaluate_answer_visual_alignment`, `evaluate_from_json`
RA/AL rubric prompts	`lmms_eval/rover_eval/visual_cot_prompts.py`	`REASONING_VISUAL_PROMPT`, `ANSWER_VISUAL_ALIGNMENT_PROMPT`

4. Experimental Setup (实验设置)

4.1 数据与任务规模

UniG2U 一共 3,000 samples，覆盖 7 个 reasoning categories 和 30 个 fine-grained subtasks。数据来自 VSP、RealUnify、Geometry3K、AuxSolidMath-Easy、PhyX、Uni-MMMU、BabyVision、ChartQA、MMSI-Bench、IllusionBench、Visual Puzzles 等来源。样本分布不是均匀的：Perception Reasoning 最大，有 1,263 个样本；Spatial Intelligence 有 500 个；Puzzles and Games 有 537 个；Real-world、Geometry、Physics 各 200 个；Chart & Table Reasoning 是 ChartQA 的 100-sample subset。

4.2 模型与 baseline

论文评估 30+ 模型，分为 base VLM、unified multimodal models 与 agentic unified systems。核心 paired baseline 包括 qwen2.5-vl-7b*, Qwen2.5-VL-3B*, yi-6B-vl*, deepseek-v2*, LLaDA-Instruct*, Janus-1.3B*, Qwen3-VL-8B*, llava-hf*, llava-onevision* 等。Unified/UMM 侧包括 OmniGen2、UniWorld-V1、OneCAT-3B、JavisGPT、Uni-Video、UniPic2、STAR-7B、UAE、Ovis-U1、MIO、Janus-Pro、AIA、MMaDA、FUDOK、MammothModa2、Emu3、X-Omni、Bagel、TokenFlow-XL、Show-o2、ILLUME+ 等。

Agentic comparison 作为强系统上界，包括 GPT-4o, ovis2.5, GPT-4o + GPT-image, gemini pro + nano banana pro, Qwen2.5-7b + Qwen-edit。需要注意，闭源 agentic 组合不一定是同一参数空间的 UMM，论文将其作为 protocol-level unified system 来观察“强理解模型 + 强生成器”在 G2U 上的表现。

4.3 Metrics 与评测协议

主要指标是 accuracy / exact match。对于规则明确的任务，代码使用文本归一化、regex 或 relaxed correctness；对于 free-form 或 visual-dependent judgment，论文使用 GPT-4o API 做 task-specific LLM-as-a-judge。核心报告指标是相对 paired baseline 的 $Δ$ ，包括 $Δ_{Direct}$ 和 $Δ_{GtA}$ 。

GtA 中间图像还用 RA/AL 诊断：RA 是 Reasoning-to-Visual Alignment，1–5 分；AL 是 Answer-to-Visual Alignment，1–5 分。RA/AL 不是替代最终 accuracy，而是解释最终 accuracy 的机制变量：如果 RA 低，说明 scaffold 生成失败；如果 AL 低，说明答案没有从 scaffold 中形成一致推理；如果 RA/AL 高但 accuracy 不涨，说明该任务可能不适合显式图像外化。

4.4 运行配置与代码锚点

实验代码基于 nssmd/UniG2U 的 main@50206c3f (2026-04-02)。标准 direct 脚本 script/eval_all.sh 和 Visual CoT 脚本 script/eval_all_cot.sh 默认 BATCH_SIZE=4。任务 YAML 中常见 generation kwargs 例如 chartqa100.yaml 的 max_new_tokens=16, temperature=0, do_sample=False；Visual CoT 版本 chartqa100_visual_cot.yaml 对 Bagel 额外指定 stage-1 generation 参数 cfg_text_scale=4.0, cfg_interval=0.4, timestep_shift=3.0, num_timesteps=50，stage-2 answer 参数 max_new_tokens=16, temperature=0.0, do_sample=false。

论文没有报告统一的 GPU 型号/数量或完整训练超参，因为它是 benchmark/evaluation paper，而不是训练一个新模型。对已发布模型的训练细节以各模型原论文为准；UniG2U 侧可复现的关键是 evaluation task YAML、prompt、post-processing、paired baseline 和 commit anchor。

5. Experimental Results (实验结果)

5.1 主结论：大多数 unified model 并没有稳定超过 base VLM

Table 4 的总体趋势是作者称为 “alignment tax”：把生成能力整合进模型后，纯理解准确率在多数任务上下降。几个精确例子：以 qwen2.5-vl-7b* 为 base，overall 是 34.45；OmniGen2(direct) 是 31.99 ( $- 2.46$ )，OmniGen2(GtA) 是 31.87 ( $- 2.58$ )，UniWorld-V1(GtA) 是 32.96 ( $- 1.49$ )。以 Qwen2.5-VL-3B* 为 base，overall 是 32.39；UAE(direct) 是 30.94 ( $- 1.45$ )，Ovis-U1(direct) 是 32.15 ( $- 0.24$ )，但 Ovis-U1(GtA) 降到 24.19 ( $- 8.20$ )。

也存在正例，但不是普遍规律。bagel(direct) 在 llava-onevision block 下 overall 35.84，比 base 33.35 高 $+ 2.49$ ；bagel(GtA) 是 36.10，高 $+ 2.75$ 。Janus-Pro(direct) 相对 deepseek-v2* 是 27.39 vs. 25.86 ( $+ 1.53$ )，AIA(direct) 是 28.65 ( $+ 2.79$ )。MMaDA(direct) 相对 LLaDA-Instruct* 是 21.09 vs. 17.05 ( $+ 4.04$ )。但 MammothModa2(direct) 相对 Qwen3-VL-8B* 从 37.75 降到 29.97 ( $- 7.78$ )，显示更强或更新的 unified model 并不自动提高理解。

闭源/agentic 强系统显示了另一个上界：gemini pro + nano banana pro overall 60.80，在 Real-world Apps 71.50、Geometry 85.00、Physics 91.00、Puzzles 55.31、Spatial 38.40、Perception 61.12 上都很强；但 GPT-4o + GPT-image overall 35.44，低于 GPT-4o 的 38.96。这说明“强理解 + 图像生成工具”也不必然比 direct strong VLM 更好，关键仍是生成图是否可靠且与任务逻辑对齐。

5.2 GtA：平均上常下降，但在特定 spatial / puzzle 子任务中有效

Figure 8 解读：散点图以每个 model-category pair 为点，横轴 Direct，纵轴 GtA。大多数点落在 $y = x$ 附近或下方，说明显式生成中间图像通常没有稳定提升；但少数 transformation-intensive 类别会出现 GtA 高于 Direct 的点，提示“生成”只有在成为可靠 structural scaffold 时才有帮助。

Figure 9 解读：overall bar 更清楚地显示 GtA 的平均风险。OmniGen2 从 Direct 31.99 到 GtA 31.87，Bagel 从 35.84 到 36.10 小幅提升，MIO 从 20.70 到 19.00，Ovis-U1 从 32.15 到 24.19，OneCAT-3B 从 31.15 到 28.80，Show-o2 从 31.59 到 26.59，ILLUME+ 从 29.54 到 27.13。也就是说，GtA 不是“多一步推理”的免费午餐。

细粒度子任务揭示了真正的收益区间。Direct/GtA 的精确值如下：OmniGen2 在 MSR 0.220/0.290、Maze 0.043/0.046、Sliding 0.000/0.001；Bagel 在 Maze 0.021/0.281、Sliding 0.009/0.195 上大幅提升，但 MSR 0.260/0.250 略降；Show-o2 在 MSR 0.270/0.300、Maze 0.142/0.178、Sliding 0.137/0.183 都提升；ILLUME+ 在 MSR 0.280/0.290、Maze 0.069/0.129 提升，但 Sliding 0.040/0.000 下降。

这些任务的共同点是需要多步状态跟踪：迷宫路径、滑块移动、multi-step spatial reasoning 都可以把“脑内状态”外化成图像。生成图在这里像 Visual CoT 工作区，降低长期隐式记忆负担。但如果生成图缺少约束、画错状态或与答案不一致，它会成为错误证据，导致 GtA 低于 Direct。

5.3 RQ3：G2U gain 有 task cluster 和 backbone bias

Figure 10a–10c 解读：这组三联图不是 raw accuracy 的相关性，而是 $Δ$ 的 Spearman correlation，因此更接近 generation-induced effect。左图显示 task-level cluster：jigsaw、maze 这类结构推理任务之间往往正相关，perception-oriented 任务之间也有内部相似性；结构推理和感知辨别之间则常出现负相关。中图按 Base VLM 分组后，使用相同 foundational representation 的模型形成明显 block；右图按 generative architecture 分组时，相关性弱得多。作者据此认为，G2U 行为更多由 inherited base representation 决定，而不是单纯由 image generation paradigm 决定。

这个发现解释了为什么统一模型不能只按“diffusion / AR / flow / discrete diffusion”归类来预测表现。真正影响 G2U 的可能是 base VLM 已经学到的视觉-语言表征、是否保留细粒度 perception 能力、以及 generation training 是否引入 alignment tax。换句话说，生成架构相似不等于理解偏差相似；同一个 base VLM 上衍生出的 unified model 更可能在任务上同涨同跌。

5.4 RA/AL：高质量中间图像是必要但不充分条件

Table 7 的 RA/AL 结果显示，中间图像质量与最终收益相关，但不是线性决定。GPT-4o + GPT-image overall RA/AL 是 3.73/4.09，是表中最高之一；它在 Geometry 4.69/4.72、Spatial 4.35/4.34、Perception 4.26/4.63 上都很高，但 overall accuracy 35.44 仍低于 GPT-4o direct 的 38.96。Uni-Video 的 overall RA/AL 是 2.77/4.21，AL 很高，说明答案常与生成图一致；但它的 Table 4 overall GtA 是 34.25，只比 qwen2.5-vl-7b* 低 0.20。

低 RA/AL 的模型通常更容易在 GtA 中掉点。Show-o2 overall RA/AL 只有 1.34/2.09，对应 overall 从 Direct 31.59 掉到 GtA 26.59；OmniGen2 是 1.86/2.79，GtA 31.87 也低于 Direct 31.99。Bagel 的 overall RA/AL 是 2.86/3.61，虽然不如 GPT-4o + GPT-image，但在 Maze/Sliding 这类 structural scaffold 任务上有效，最终 GtA overall 36.10 也略高于 Direct 35.84。

因此作者的解释是：GtA 成功需要落在 “sweet spot”。任务必须真的需要视觉外化来降低 cognitive load；模型也必须能生成足够准确的 scaffold；answering step 还要能利用 scaffold。缺任何一项，GtA 都可能退化成“先生成一张错误图，再认真地根据错误图回答”。

5.5 代表性案例、失败模式与局限

Figure 7 解读：案例图把 generation-friendly 与 generation-harmful 情况并排展示。上半部分的 spatial / puzzle / reasoning cases 中，中间图像可以把路径、候选拼图或视觉状态显式化；下半部分则展示生成图可能产生无关、混乱或误导性 artifact。它补充说明了主表的数值结论：生成不是万能增强器，而是一个会传播错误的外部工作区。

论文局限主要有四点。第一，UniG2U 是 benchmark paper，不训练新模型，因此只能诊断现有模型，不提供直接解决方案。第二，RA/AL 依赖 GPT-4o judge，虽然 prompt 和 rubric 细化了评分标准，但仍可能受 judge bias 影响。第三，部分模型没有 image-to-image/edit training，GtA 对它们是 OOD；论文主表因此排除了一些不公平结果，但这也使跨模型 GtA 覆盖不完全。第四，released code 的 public script 当前还带有 smoke-test 风格的 --limit 1，需要用户自行移除并配置完整评测资源才能复现论文表格。

总的结论是：unified multimodal modeling 的潜力真实存在，但不是“会生成 = 更会理解”。G2U gain 主要出现在空间智能、视觉错觉、多轮或多步推理等需要结构化视觉中间状态的任务；在感知辨别、chart/table、几何严格约束或生成对齐不足的任务中，generation 反而可能引入 alignment tax。未来方向应是更针对性的训练数据、更可靠的 intermediate visual reasoning scaffold，以及能同时保持 perception fidelity 和 structural generation 的统一架构。

Paper Notes

探索

UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?

UniG2U-Bench: Do Unified Models Advance Multimodal Understanding?

1. Motivation (研究动机)

1.1 论文要问的问题：生成能力到底有没有反哺理解？

1.2 为什么需要一个新的 benchmark

2. Idea (核心思想)

2.1 从 leaderboard 转向 causal diagnostic

2.2 为什么要同时看任务 taxonomy 与中间图像质量

2.3 与已有 benchmark 的根本差异

3. Method (方法)

3.1 形式化定义：UMM、Direct、GtA 与 G2U Gain

3.2 UMM taxonomy：不是所有 unified model 都是同一种“统一”

3.3 Benchmark 构造：7 类、30 个子任务、3,000 样本

3.4 Evaluation protocol：Direct 与 Generate-then-Answer

3.5 中间图像诊断：RA 与 AL

3.6 代码实现视角：released code 如何跑 UniG2U

4. Experimental Setup (实验设置)

4.1 数据与任务规模

4.2 模型与 baseline

4.3 Metrics 与评测协议

4.4 运行配置与代码锚点

5. Experimental Results (实验结果)

5.1 主结论：大多数 unified model 并没有稳定超过 base VLM

5.2 GtA：平均上常下降，但在特定 spatial / puzzle 子任务中有效

5.3 RQ3：G2U gain 有 task cluster 和 backbone bias

5.4 RA/AL：高质量中间图像是必要但不充分条件

5.5 代表性案例、失败模式与局限

目录