Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation

Paper: arXiv:2605.04128 Code: jd-opensource/JoyAI-Image Code reference: main @ 4cf9aa3 (2026-05-09)

1. Motivation (研究动机)

这篇技术报告的核心问题不是“再训练一个更强的图像生成模型”，而是把视觉理解、文生图、图像编辑和空间推理放进同一个统一模型里，考察空间智能能否作为统一视觉基础模型的第一等能力被唤醒。作者认为现有统一模型已经能把理解、生成、编辑放到一个产品形态中，但三类能力之间的交互仍然偏弱：理解模型通常只在输入端给出语义描述，难以深度约束生成或编辑；生成/编辑模型虽然能改变图像，却很少把几何变换产生的新证据反哺给空间理解。第二个痛点是空间能力经常被当作后处理或专用 benchmark 的附加模块，导致模型对距离、方向、相机视角、跨视角一致性和场景结构的掌握不稳定，尤其在“旋转物体”“改变视角”“比较高度/前后关系”这类任务上，语义正确和几何正确并不等价。

作者的切入点是 JoyAI-Image：一个统一支持 visual understanding、text-to-image generation、instruction-guided image editing 的多模态基础模型。它把空间智能嵌入数据构造、训练任务、架构接口和推理应用中，而不是在最终模型外再接一个几何检查器。论文反复强调“bidirectional loop”：增强后的空间理解可以帮助生成/编辑做更好的 scene parsing、relation grounding 和 instruction decomposition；反过来，几何编辑和 novel-view expansion 又能为理解任务提供额外视觉证据，类似用生成模型主动移动视角来验证空间假设。这种双向协作是本文比单纯 T2I 或编辑模型更重要的贡献。

Figure 1 解读：雷达图把 JoyAI-Image 放在 understanding、generation、editing 的联合坐标系里展示。它的意义不在于某个单点指标，而是说明作者希望用一个模型族覆盖文本渲染、空间理解、通用编辑、空间编辑和多视角应用。这里的“awaking spatial intelligence”可以理解为把空间监督从 isolated benchmark 扩展为整个训练 recipe 的组织原则。

这篇论文值得读的原因有三点。第一，它提供了一个面向统一视觉模型的大规模工程 recipe：MLLM + VAE + MMDiT 的架构、OpenSpatial-3M 的空间理解数据、T2I 的 OCR/long-text/多视角数据、编辑侧的 general + spatial editing 数据都被放在一个系统里。第二，它在指标上覆盖范围很广，包括 9 个空间理解 benchmark、4 个 general understanding benchmark、LongText-Bench、CVTG-2K、T2I-CoReBench、OneIG、DPG、GEdit、ImgEdit-Bench、SpatialEdit-Bench 和 human A/B test。第三，它公开了推理代码和模型调用路径，使我们至少能验证 release 版本的 MMDiT/VAE/pipeline/understanding inference 结构；但训练数据引擎和 RL 训练代码并未完整开源，这一点在复现时必须分清。

2. Idea (核心思想)

一句话概括：JoyAI-Image 用一个空间增强的 MLLM 作为统一语义接口，用 Wan-2.1-VAE 压缩图像/视频式 latent，用 16B MMDiT 作为生成与编辑的 denoising backbone，再通过 OpenSpatial、长文本渲染、多视角生成、空间编辑和 RL/post-training 把空间能力从理解侧贯通到生成侧。它的关键不是某一个新 loss，而是把“空间”变成统一模型训练的系统性 bias。

Figure 2 解读：主架构把三条路径统一起来。理解路径中，MLLM 直接接收图像和文本并输出语义/空间答案；文生图路径中，MLLM 把文本 prompt 转换为 latent guidance，MMDiT 在 VAE latent 空间中迭代去噪生成图像；图像编辑路径中，MLLM 同时解释源图和用户指令，VAE 编码源图，MMDiT 融合 MLLM interleaved priors、source-image latent 和 noise tokens 生成目标图。这个图揭示了本文的一个重要取舍：空间推理并没有独立成 3D module，而是通过 shared multimodal interface 和跨任务数据进入模型。

核心 insight 可以拆成四层。

第一层是架构统一。JoyAI-Image 把理解和生成都绑定到 MLLM/MMDiT 接口上。MLLM 负责把视觉-语言上下文转成可被生成器消费的条件表示；MMDiT 负责把这些条件同 VAE latent 联合建模。因为编辑任务天然需要同时看源图和指令，这个接口让“理解源图结构”与“合成目标图”可以在同一个条件空间中协同，而不是先 caption 再喂给独立 diffusion model。

第二层是空间数据先行。OpenSpatial 不是简单收集带 3D 标签的数据，而是从 3D oriented bounding boxes、frame-level attributes、instance masks、partial point clouds 和 metric metadata 构造统一几何索引，再生成 single-view QA 和 multi-view QA。这样得到的 QA 不只是“物体是什么”，而是“哪个物体更近”“从另一视角看关系是否保持”“相机如何移动”等，需要模型形成相对稳定的 spatial mental map。

第三层是生成/编辑反向增强理解。文生图阶段引入 multi-view corpus，使模型学会在一个 prompt 下生成主视角和辅助视角，并保持身份、结构、光照和风格一致。编辑阶段引入 object-centric transformation 和 dynamic-camera viewpoint transformation，使模型学会局部物体变换与全局相机变换。这样模型不仅能 answer spatial questions，也能执行 spatial actions；后者可以在应用中形成“先规划视角—再编辑生成—再用新视角判断”的 loop。

第四层是后训练对齐。T2I 使用 Flow-GRPO 类似的 group-relative policy optimization，并用 aesthetic reward 与 text-image alignment reward 提供多目标信号；编辑模型也比较 SFT 和 RL 版本，显示 RL 对 GEdit/ImgEdit 有增益。这里的 intuition 是：空间数据让模型知道“几何上什么是可能的”，RL/post-training 让模型更倾向输出视觉质量和指令遵循都更好的样本。

3. Method (方法)

3.1 模型架构：MLLM + WanVAE + 16B MMDiT

模型由三个主要组件组成。首先是 spatially enhanced MLLM，它承担视觉理解、prompt understanding、编辑指令解析和多模态条件生成的角色。公开 repo 的 understanding 入口 inference_und.py 使用 Qwen3VLForConditionalGeneration 和 AutoProcessor，把一张或多张图片与用户问题打包为 chat template，默认问题是 “Describe this image in detail.”，默认最大生成长度为 2048 tokens。代码层面这说明 release 版本的理解能力走 Qwen3-VL 风格的 MLLM 推理路径，而不是 MMDiT 去噪路径。

第二个组件是 Wan-2.1-VAE。论文说 VAE 使用 causal 3D convolutions 作为 latent compressor，以保存细粒度结构和高频细节，例如小文本渲染。这个选择与模型面向图像但借用 video-style latent compressor 的设计有关：causal 3D VAE 能处理 time/frame 维度，公开代码中 src/modules/models/mmdit/vae/wanvae.py 也保留了 WanVAE 的 encode/decode runtime。对 T2I 和编辑而言，VAE 的角色是把像素图像映射到更紧凑的 latent token grid，让 MMDiT 在 latent 空间进行 flow matching / denoising。

第三个组件是 16B 参数的 Multimodal Diffusion Transformer。论文给出的 MMDiT hyperparameters 包括 input/output dim = 16、patch size = $1 \times 2 \times 2$ 、40 layers、hidden dim = 4096、text hidden dim = 4096、32 attention heads、modulation type = WanX、position embedding = MRoPE、RoPE base = 10,000、RoPE dim list = [16, 56, 56]。作者特别提到把 Qwen-Image 使用的 MSRoPE 换成 standard MRoPE，以更好对齐结构化条件。公开代码中 src/modules/models/mmdit/dit/models.py 包含 text/image condition embedding、time embedding、rotary position embedding、modulation layer、attention 与 feed-forward block；这与论文中“MLLM representations + VAE latent representations 的 dual-stream fusion”一致。

3.2 Advanced Spatial Understanding：OpenSpatial 数据引擎与空间 SFT

OpenSpatial 数据目标与能力覆盖

OpenSpatial 是本文空间理解的核心数据系统。它的目标是把 in-the-wild web videos 或人工/半自动 3D 数据提升为 box-centric 的 3D 表示，再转化为空间 QA。论文构造了 OpenSpatial-3M，包含约 300 万条训练样本，覆盖五类基础空间能力：Spatial Measurement (SM)、Spatial Relationship (SR)、Camera Perception (CP)、Multi-view Consistency (MC)、Scene-Aware Reasoning (SAR)，合计 19 个子任务。这比普通 VQA 更细，因为它要求模型处理距离、大小、深度、位置、对应关系、3D scene captioning、camera motion、3D grounding、orientation 和 multi-view camera pose 等信息。

Figure 3 解读

OpenSpatial engine 的中心是 3D OBB。流程先取得 scene-level 3D oriented bounding boxes；然后通过投影、可见性过滤、mask refinement 得到 frame-level object attributes；再汇总为统一 object-frame index。这个 index 同时同步 3D/2D boxes、instance masks、partial point clouds 和 metric metadata。下游有两个 QA 分支：single-view QA 从单帧 scene graph 中抽取细粒度问题，multi-view QA 利用 3D boxes 的 viewpoint-invariant 特性跨帧同步物体，生成需要跨视角一致推理的问题。

Figure 4 解读

OpenSpatial 的 taxonomy 明确把空间能力拆成 measurement、relationship、camera perception、multi-view consistency、scene-aware reasoning。这个拆分重要，因为“空间智能”不是一个单一指标：measurement 更像 metric/ordinal reasoning，relationship 更像语言关系 grounding，camera perception 需要理解视角和投影，multi-view consistency 需要跨帧身份保持，scene-aware reasoning 则要求把场景语义与几何结构结合。

Spatial SFT 数据配比

空间理解 SFT 的训练语料总量约 11.3M，分为 General Understanding、Spatial Understanding、Prompt Enhancement 和 Others。General Understanding 约 6.1M（54.25%），覆盖 General VQA 1.7M、Math 1.4M、Doc/Chart 1.0M、Language 907.8K、Multi-task 610.1K、OCR 463.7K，用于保留通用多模态能力。Spatial Understanding 约 3.4M（29.65%），主要由 OpenSpatial 3.3M 和 VST subset 49.4K 构成，是空间能力主监督源。

Distillation 与超参数

训练时作者采用标准 cross-entropy SFT，同时加入 online knowledge distillation：冻结 teacher model，对 response tokens 的中间 hidden-state 表示施加 layer-averaged KL divergence，目标为 $L = L_{SFT} + λ L_{KL}$ 。关键细节是 KL 只施加在 general-purpose datasets 上，不施加在 spatial understanding tasks 上；

为什么空间数据不强制贴近 teacher

原因是 base model 的原始空间能力有限，如果在空间数据上强制贴近 teacher，反而会抑制新空间知识学习。SFT hyperparameters 包括 FSDP2、ViT LR $5 \times 1 0^{- 6}$ 、total batch size 128、micro batch size 1、BF16、max length 8192、main LR $5 \times 1 0^{- 5}$ 、KL weight 10。

Figure 5 解读

空间理解数据 recipe 显示作者并没有均匀混合所有数据，而是采用 per-dataset sampling ratio 来处理大规模数据源之间的 scale imbalance。这是一个容易被忽略的工程点：如果直接按样本数混合，General Understanding 会淹没 Spatial Understanding；如果过度上采样空间数据，又会损伤 OCR、document、math、language 等泛化能力。

3.3 Text-to-Image：数据过滤、captioning、rebalancing、多视角与 Flow-GRPO

数据过滤与总体管线

T2I 数据管线包含五个模块：Data Filtering、Captioning、Rebalancing、Annotating、Multi-view Generation。Filtering 从 billions-level 图片中逐步提高门槛：208p 阶段最低短边 >128、aesthetic score ≥3.0；512p 阶段最低短边 >256、aesthetic score ≥4.6、IQA retention 约 34%、dense OCR resolution >512、启用 border detection；1024p 阶段最低短边 >512、IQA retention 约 20%、dense OCR resolution >768，并启用 rebalancing。IQA 不只是单一 perceptual score，而是统计图像属性和 learned perceptual quality 的 cascaded decision；作者还特别强调 text-image alignment 和 OCR 相关过滤，因为本文要做 long-text rendering。

Captioning 与 OCR-aware 文本监督

Captioning 使用 Qwen3-VL-8B-Instruct 作为统一 caption backbone，生成中英文 captions。caption 类型分为 short captions、long captions、extended long captions 和其他更结构化/细粒度描述，使训练同时覆盖真实用户 prompt 分布和密集视觉-文本对齐。OCR-aware captioning 先用 OCR-specialized model 抽取图像中的文字 token，再把 OCR tokens 与视觉特征融合输入 captioning model，最后通过 fine-grained post-filtering 保留满足约束的 captions。

Text-rendering 合成数据

作者进一步构造 text-rendering training data：LLM 把 prompt 转成 structured layout blueprint，去掉 typography-related tokens 并用 negative prompting 抑制不需要的文本；HTML/CSS + Chromium 负责 web-grade typography 渲染；针对低频汉字做 frequency filtering、radical/stroke decomposition 和 balanced sampling；最后 VLM grounding text regions，并把提取到的文字纳入 recaption prompt。

Figure 6 解读

OCR pipeline 解决的是“模型看见字但 caption 没有精确描述字”的数据上限问题。对于生成模型来说，训练 caption 中没有准确文字位置和文字内容，后续再靠 prompt engineering 很难补救。因此作者把 OCR token、caption model 和 post-filtering 串起来，目标是在训练数据层面提高 text rendering supervision 的 fidelity。

Rebalancing：长尾类别重采样

Rebalancing 针对 web-scale 数据的长尾分布。流程是 Caption → Embedding → Tag → Retrieval → Rebalance。作者构造约 285K leaf-node categories 的 tag vocabulary，对 tag 和样本 caption 都算 embedding，保留 top-K（K=1000）作为候选，并报告 embedding similarity matching 的人工验证准确率约 86%。为了避免 top-K 标签语义冗余，系统在 taxonomy 中间层聚合候选，按 parent node 做 diversity sampling。对 tail categories 尽量保留，对 head categories 用 inverse-logarithmic schedule $N_{s am pl e} \propto 2/ lo g (C o u n t)$ 下采样。这个模块的直觉是：大模型不是只缺“更多数据”，还缺在稀有概念、风格和构图上的有效曝光。

Multi-view corpus：把 T2I 接到空间能力

Multi-view Generation 是 T2I 与空间能力连接最明显的模块。作者构造约 1M-scale multi-view generation corpus，覆盖 object-centric 和 scene-centric 场景，每个样本含一个 designated main view 和多个 supporting sub-views。Blender 4.5 用于渲染，相机都朝向目标物体中心，camera intrinsics 从常用范围采样，camera-to-object distance 按物体 bounding extent 缩放，并通过从相机图像平面中心区域向目标投射 rays 来过滤遮挡严重的视角。标注采用 Gemini-3-Flash 的 dual-prompt pipeline：dense-caption prompt 生成自然语言描述，structured prompt 输出 JSON 字段，例如 subject summary、rotation progression、main view index 和 per-view details。

Flow matching 与分阶段训练

模型训练采用 flow matching objective。给定图像 $x$ ，VAE 得到 clean latent $z_{1}$ ，采样噪声 $z_{0} \sim N (0, I)$ ，线性插值得到 $z_{t} = t z_{1} + (1 - t) z_{0}$ ，模型预测 velocity field $z_{1} - z_{0}$ ，损失为 $E ∥ f_{θ} (z_{t}, y, t) - (z_{1} - z_{0}) ∥^{2}$ 。预训练分 208P、512P、1024P 三阶段，1024P 阶段额外加入多视角数据。Continue training 用更高质量、更窄分布的数据子集降低 distribution entropy，提高视觉一致性和 artifact 抑制。SFT 重点增强 complex text rendering 和 multi-view generation，使用数千高质量样本和精细人工标注。RL 主要沿用 Flow-GRPO：每个 prompt 采样一组图像及其 reverse-time trajectories，按组内 reward 做 normalized advantage，并用 clipped objective 加 KL regularization；reward 包含 aesthetic reward 和 text-image alignment reward。

Figure 7 解读

文本渲染示例覆盖 multi-panel comics、dense multi-line text、multilingual content、long-form layout、real-world scene text 和 handwriting。它验证的是 caption/OCR/layout 数据管线的终端效果：模型不仅要“会画有字的图”，还要在复杂版式中保持文字内容、布局和风格一致。

Figure 8 解读

T2I qualitative case 展示 JoyAI-Image 在 stylized fashion editorial prompt 上的审美、构图和色彩一致性。虽然这类图不能单独证明空间智能，但它说明本文没有为了空间能力牺牲一般视觉质量，这对统一模型很重要。

3.4 Image Editing：general editing、spatial editing、SFT/RL/post-training

编辑侧模型名为 JoyAI-Image-Edit。数据分为 general editing data engine 和 spatial editing data engine。General editing 覆盖 IP-preserving edits、text rendering、in-context generation、human portrait retouching、motion-aware modification，以及 color/style/tone/subject add-remove-replace/object extraction/material/background 等局部编辑。来源包括 open-source editing datasets、expert-model distilled data、in-house text editing data 和 multi-image editing data。这个部分的作用是保留广覆盖的 instruction-following editability，避免空间专用数据让模型变窄。

Spatial editing data engine 则专门处理几何变换。它包含 object transformation 和 dynamic-camera viewpoint transformation 两个分支。Object transformation 更偏局部物体尺度、位置、方向、姿态的变化；dynamic-camera 分支在固定 3D 场景中改变相机 pose，把 yaw、pitch、distance 作为 3 个自由度，用 Blender 围绕 focus object 采样相机，同时控制 scene geometry 和 intrinsics，生成 source-target image pairs。这个分支特别重要，因为传统 2D 编辑语料很少能提供“改变视角但保持身份、场景关系、光照和 framing”的强监督。

Figure 9 解读：编辑训练数据分布说明 JoyAI-Image-Edit 不是单一空间编辑模型，而是在 general edit 和 spatial edit 之间做混合。读这个图时应注意：空间编辑数据占比不需要最大，但它提供了其他编辑数据缺少的几何 supervision；general data 则维持日常编辑能力和视觉自然性。

Figure 10 解读：spatial editing pipeline 把结构化变换转成统一 prompt template，避免不同空间编辑任务使用彼此割裂的监督格式。这个 unified instruction interface 是从数据引擎到模型训练的桥梁：模型看到的是自然语言指令和 source/target 图，而不是裸 3D 参数；但这些自然语言指令背后由可控 3D 过程生成，因此比普通编辑数据有更强几何可信度。

训练阶段包括 pre-training、continue training、SFT 和 post-training。编辑 pre-training 让模型获得粗粒度源图条件生成能力；continue training 用高质量 general/spatial/text-centric/multi-image 数据混合，把粗编辑能力变成可控用户编辑行为，增强 instruction following、content preservation、identity/structure consistency 和 fine-grained intent sensitivity；SFT 再针对 instruction fidelity、local controllability、text accuracy、spatial precision、reference consistency 和 long-tail cases 做更强调整；post-training 则通过 preference/RL 类目标提高人类偏好和综合质量。论文没有公开完整编辑训练脚本，因此这些训练细节主要来自 paper-level description 和表格，而非 released code。

3.5 Released code 对应关系与可复现推理路径

公开 repo jd-opensource/JoyAI-Image 的默认分支是 main，本笔记固定到 4cf9aa3（2026-05-09）。代码公开了推理入口、runtime 配置、MMDiT/VAE/scheduler/pipeline 等核心推理组件，但没有公开 OpenSpatial 数据生成、T2I 训练、编辑训练或 Flow-GRPO 的完整训练代码。因此本节把“paper concept”和“source code evidence”分开：推理路径可以由代码验证，训练 recipe 只能由论文描述和表格验证。

Paper Concept	Source File	Key Class/Function
文生图/编辑 CLI 入口	`inference.py`	`parse_args`, `build_model`, `InferenceParams`, `model.infer`
编辑/生成 runtime wrapper	`src/infer_runtime/model.py`	`EditModel`, `maybe_rewrite_prompt`, `infer`, `build_model`
理解模型 CLI	`inference_und.py`	`Qwen3VLForConditionalGeneration.from_pretrained`, `AutoProcessor`, `build_conversation`
runtime config schema	`src/infer_runtime/infer_config.py`	`InferConfig` fields: `dit_ckpt`, `vae_arch_config`, `text_token_max_length=2048`, `scheduler_arch_config`
MMDiT backbone	`src/modules/models/mmdit/dit/models.py`	text/image/time embeddings, RoPE, modulation, attention/feed-forward blocks
VAE latent codec	`src/modules/models/mmdit/vae/wanvae.py`	WanVAE encode/decode runtime
diffusion pipeline	`src/modules/models/pipeline.py`	prompt/image encoding, condition preparation, scheduler timesteps, denoising loop
scheduler	`src/modules/models/scheduler.py`	Karras/diffusion scheduler utilities
prompt rewriting	`src/infer_runtime/prompt_rewrite.py`	optional LLM-based prompt rewriting
checkpoints	`src/infer_runtime/checkpoints.py`	checkpoint path and loading helpers

公开推理路径的伪代码如下，基于 inference.py 和 src/infer_runtime/model.py。注意默认参数来自 CLI：T2I height/width 默认 1024，steps 默认 50，guidance scale 默认 5.0，seed 默认 42；编辑输入会按 basesize=1024 做 bucket resize；如开启 --rewrite-prompt，会调用 prompt rewriting，默认 rewrite model 是 gpt-5。

def joyai_public_t2i_or_edit(args):
    settings = RuntimeSettings(
        ckpt_root=args.ckpt_root,
        config_path=args.config or f"{args.ckpt_root}/infer_config.py",
        rewrite_model=args.rewrite_model,
        default_seed=args.seed,
    )
    model = build_model(settings)  # load_dit(cfg), load_pipeline(cfg, dit)
    input_image = load_input_image(args.image)  # None means text-to-image
    prompt = model.maybe_rewrite_prompt(args.prompt, input_image, args.rewrite_prompt)
 
    if input_image is None:
        prompts = [prompt]
        images = None
        negative_prompt = [args.neg_prompt]
    else:
        processed = dynamic_resize_from_bucket(input_image, basesize=args.basesize)
        image_tokens = "<image>\n"
        prompts = [f"<|im_start|>user\n{image_tokens}{prompt}<|im_end|>\n"]
        negative_prompt = [f"<|im_start|>user\n{image_tokens}{args.neg_prompt}<|im_end|>\n"]
        images = [processed]
 
    output = pipeline(
        prompt=prompts,
        negative_prompt=negative_prompt,
        images=images,
        height=args.height,
        width=args.width,
        num_inference_steps=args.steps,
        guidance_scale=args.guidance_scale,
        generator=torch.Generator().manual_seed(args.seed),
        num_videos_per_prompt=1,
    )
    return tensor_to_pil(output[0, -1, 0])

理解路径基于 inference_und.py，与生成/编辑路径分离：

def joyai_public_understanding(ckpt_root, image_paths, prompt=None):
    model_dir = Path(ckpt_root) / "JoyAI-Image-Und"
    images = [Image.open(p).convert("RGB") for p in image_paths]
    messages = [
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": [{"type": "image", "image": img} for img in images]
                                  + [{"type": "text", "text": prompt or "Describe this image in detail."}]},
    ]
    text_input = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    inputs = processor(text=[text_input], images=images, return_tensors="pt")
    output_ids = model.generate(**inputs, max_new_tokens=2048)
    return processor.batch_decode(output_ids[:, inputs["input_ids"].shape[1]:])

论文公式与 released code 的关系：flow matching loss、Flow-GRPO、OpenSpatial synthesis 和 editing data engines 在 release 代码中没有训练实现；models.py、pipeline.py 和 wanvae.py 能验证 inference-time MMDiT/VAE/prompt-image conditioning 的结构，但不能验证训练数据配比、reward model、KL distillation 或 optimizer schedule。复现实验时应把公开代码当作 inference/runtime reference，而不是完整训练 recipe。

4. Experimental Setup (实验设置)

实验覆盖四条线：空间理解、文生图/长文本渲染、图像编辑、空间应用。

空间理解使用 VLMEvalKit，并用 Gemini-2.5-Flash 作为 open-ended questions 的 judger。benchmark 被分成三层：Level 1 是 2D semantic perception，例如 MMBench、MMStar；Level 2 是 3D spatial understanding，例如 BLINK、CV-3D、3DSR、MMSI、RealWorldQA；Level 3 是 4D spatio-temporal reasoning，例如 VSI-Bench 和 AllAnglesBench，要求模型维护跨时间/跨视角的一致 spatial mental map。比较对象包括 proprietary models（Gemini-2.5-Pro、GPT-4o）、open-source general/spatial VLMs（InternVL、SpaceR、MiMo-VL、Qwen2.5-VL、Qwen3-VL、VST 等）以及 JoyAI-Image-Und。

T2I 评估包括 LongText-Bench（英文/中文长文本生成准确率）、CVTG-2K（NED、CLIPScore、Word Accuracy）、OneIG（EN/ZH overall）、DPG overall、T2I-CoReBench（composition/reasoning/overall）。这些 benchmark 的组合意图是同时看文字渲染、prompt following、构图、推理和审美质量。由于本文很强调 long-text rendering，LongText-Bench 和 CVTG-2K 是最能体现数据管线价值的指标。

编辑评估包括 GEdit、ImgEdit-Bench、SpatialEdit-Bench 和 human A/B test。GEdit 和 ImgEdit 主要看 general instruction-based editing，包括 semantic following、perceptual quality、content preservation 和各类编辑操作；SpatialEdit-Bench 更关注几何正确性，分成 object moving/rotation score 和 camera viewpoint/framing error，能诊断模型是否真的执行了空间变换，而不仅是生成视觉上 plausible 的图。

应用实验包含 Thinking with Novel Views 和 Reconstruction with Novel Views。前者让 MLLM planner 为高度比较、垂直关系等空间问题生成 camera-motion instructions，再由 JoyAI-Image-Edit 产生新视角，用额外图像证据辅助判断；后者把空间模型生成的新视角用于 3D reconstruction，考察 novel views 是否提升重建效果。这部分没有像主 benchmark 那样给出大量数字，但展示了统一模型的用法：生成/编辑不是最终目的，也可以作为理解和物理世界建模的工具。

Figure 12 解读：Thinking with Novel Views 把空间推理拆成 planner 和 view generator。MLLM planner 先根据问题生成相机运动指令，编辑模型再生成新视角；新视角提供的视觉证据可以帮助回答原图中难以直接判断的高度或垂直关系。这个 workflow 的关键是“生成用于验证”，不是只生成更好看的图。

Figure 13 解读：论文把 edit-recon1 和 edit-recon2 放在同一个 figure caption 下，因此这里保留为组合图。图意是：空间模型生成的 novel views 可以改善 3D reconstruction；如果生成的新视角在身份、结构、遮挡关系上足够一致，它就能作为重建算法的额外观测，而不仅是一个视觉 demo。

5. Experimental Results (实验结果)

空间理解结果显示 JoyAI-Image-Und 在 9 个空间 benchmark + 4 个 general benchmark 的综合表中达到 spatial average 64.4，比 base model 提升 +5.3，达到与 Gemini-2.5-Pro 同级的空间平均表现。具体表中 JoyAI-Image-Und 在 VSI 64.4、AllAngles 60.1、BLINK 61.0、3DSR_C 69.6、CV-2D 60.5、CV-3D 81.0、ERQA 92.7、RealWorldQA 45.0、MMSI 74.0；general 指标上 MMB_CN 35.8、MathVista 83.7、MMStar 74.4、OCRB 87.9。与 Qwen3-VL-8B-Instruct 相比，空间项基本都有提升，例如 VSI +5.3、AllAngles +4.5、BLINK +11.5、3DSR_C +3.5、CV-2D +7.7、CV-3D +2.4、RealWorldQA +4.9、MMSI +3.3。这说明 OpenSpatial + selective KL 的主要收益确实集中在空间任务，而不是只靠通用 VLM 规模。

T2I 文本渲染方面，JoyAI-Image 在 LongText-Bench-EN 和 LongText-Bench-ZH 都达到 0.963，超过 Qwen-Image 的 0.943/0.946、Z-Image 的 0.935/0.936、GPT Image 1 [High] 的 0.956/0.619。这个结果和 OCR-aware captioning、HTML/CSS 渲染数据、低频汉字 sampling 的设计一致，尤其中文长文本上比 GPT Image 1 的差距很大。CVTG-2K 上，JoyAI-Image 的 Word Accuracy 是 0.8739，为表中最高；

NED 为 0.9369，略低于 GPT Image 1 的 0.9478，但高于 Qwen-Image 的 0.9116；CLIPScore 为 0.7990，接近 Qwen-Image 的 0.8017。OneIG/CVTG/DPG 合表里 JoyAI-Image 在 OneIG-EN 0.542 排第二、OneIG-ZH 0.521，DPG overall 88.05，说明它在文字准确率上很强，在综合 prompt/reasoning/aesthetic 上保持竞争但不是所有维度第一。

T2I-CoReBench 上 JoyAI-Image composition mean 94.2 为最高，reasoning mean 55.9 排第二，overall 68.7 排第二，落后 GPT Image 1 [High] 的 72.6；这说明模型的构图和文本/多元素合成很强，但复杂 reasoning 仍有上限。

编辑结果分三类看。GEdit 上，JoyAI-Image-Edit w/ PE 的 EN G_O 为 8.290、CN G_O 为 8.208，均为最佳；w/o PE 的 EN/CN G_O 为 8.276/8.125，也已经强于多数开源/闭源 baseline。ImgEdit-Bench 上，JoyAI-Image-Edit w/ PE overall 4.57，为表中最高，略高于 FireRed-Image-Edit 的 4.56、Qwen-Image-Edit-2511 的 4.51、LongCat-Image-Edit 的 4.45。这里要注意 PE 表示 prompt-enhancing technique；论文同时报告 w/o PE overall 4.46，说明 prompt enhancement 有帮助，但基础编辑模型本身也较强。

SpatialEdit-Bench 是最能说明“空间编辑”价值的表。JoyAI-Image-Edit 的 object moving score 0.652、rotation score 0.646，object overall 0.649；camera viewpoint error 0.290、framing error 0.568，camera overall error 0.429。相比 LongCatImage-Edit，moving 从 0.373 提升到 0.652，rotation 从 0.505 提升到 0.646，viewpoint error 从 0.802 降到 0.290，framing error 从 0.684 降到 0.568，object overall 从 0.439 到 0.649，camera overall error 从 0.743 到 0.429。它甚至优于表中的视频世界模型 camera error，如 LingBot-World 的 0.699、ReCamMaster 的 0.738。这是本文最有说服力的结果之一，因为空间编辑指标直接考察几何执行，而不是普通视觉质量。

Figure 11 解读：human A/B test 把编辑质量拆成 Semantic Following、Consistency、Naturalness、Overall。JoyAI-Image-Edit 相比 Qwen-Image-Edit-2511，在 Semantic Following 上 29.5% vs 19.0%，Consistency 上 35.9% vs 31.7%，Overall 上 45.3% vs 36.1%，但 Naturalness 略低 32.7% vs 35.9%。相比 Nano-Banana-2，它在四个维度都落后，尤其 Naturalness 24.7% vs 48.1%；相比 Flux.2 [DEV]，它在 Semantic Following 40.1% vs 13.8%、Consistency 56.3% vs 18.5%、Overall 60.8% vs 23.2% 明显领先，Naturalness 34.8% vs 34.0% 略领先。这个结果给出更细的判断：模型优势主要在指令执行和结构一致性，最强 baseline 面前的视觉 polish/naturalness 仍是瓶颈。

RL 消融表显示，JoyAI-Image-Edit 从 SFT 到 RL 后，GEdit-Bench-EN 的 G_SC/G_PQ/G_O 从 8.566/8.114/8.090 到 8.829/8.120/8.276，G_O 增益 +0.186；GEdit-Bench-CN 从 8.180/7.882/7.753 到 8.618/8.119/8.125，G_O 增益 +0.372；ImgEdit overall 从 4.40 到 4.46，增益 +0.06。这个表支持作者关于 post-training 的说法：RL 对 instruction following 和整体质量有正向作用，但收益不是均匀的，中文 GEdit 的整体增益更明显。

总体评价：JoyAI-Image 的强项是把多个本来分散的能力统一到一个训练与推理系统里，并用空间数据/编辑/新视角应用把“空间智能”具体化。它不是提出一个单点新模块，而是展示了一个工程上可扩展的 recipe：spatial MLLM + MMDiT + VAE + OpenSpatial + OCR/long-text data + multi-view data + spatial editing + RL。主要局限也很清楚：训练代码和数据引擎没有完整开源，许多关键数字来自技术报告而不能由 repo 复跑；MMDiT 16B 规模和数据规模很大，普通研究者难以复现；human eval 显示 naturalness 相比最强闭源/商业 baseline 仍有差距；Thinking with Novel Views 和 reconstruction 应用更像 proof-of-concept，尚缺系统量化。尽管如此，这篇报告对“统一多模态生成模型如何获得空间智能”提供了比单模型 benchmark 更完整的系统视角。

Paper Notes

探索

Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation

Awaking Spatial Intelligence in Unified Multimodal Understanding and Generation

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 模型架构：MLLM + WanVAE + 16B MMDiT

3.2 Advanced Spatial Understanding：OpenSpatial 数据引擎与空间 SFT

OpenSpatial 数据目标与能力覆盖

Figure 3 解读

Figure 4 解读

Spatial SFT 数据配比

Distillation 与超参数

为什么空间数据不强制贴近 teacher

Figure 5 解读

3.3 Text-to-Image：数据过滤、captioning、rebalancing、多视角与 Flow-GRPO

数据过滤与总体管线

Captioning 与 OCR-aware 文本监督

Text-rendering 合成数据

Figure 6 解读

Rebalancing：长尾类别重采样

Multi-view corpus：把 T2I 接到空间能力

Flow matching 与分阶段训练

Figure 7 解读

Figure 8 解读

3.4 Image Editing：general editing、spatial editing、SFT/RL/post-training

3.5 Released code 对应关系与可复现推理路径

4. Experimental Setup (实验设置)

5. Experimental Results (实验结果)

目录