LightFusion: A Light-weighted, Double Fusion Framework for Unified Multimodal Understanding and Generation

Paper: arXiv:2510.22946 Note: 早期外部索引多称为 LightBagel；arXiv v4 标题为 LightFusion。项目页 https://ucsc-vlaa.github.io/LightFusion/ 当前返回 GitHub Pages 404；GitHub repo/code search 未找到可访问的官方实现，因此本文按无公开代码处理。

1. Motivation (研究动机)

当前 BAGEL、OmniGen2、UniWorld-V1、Ovis-U1、Show-o2 这类 UMM（Unified Multimodal Model）已经能把视觉理解、text-to-image generation、image editing 放进一个大模型体系里，但主流路线有两个成本瓶颈：第一，很多模型需要从头或大规模继续训练，训练 token / compute 远高于普通研究团队能承受的范围；第二，单栈 transformer 同时优化 autoregressive language modeling 与 diffusion / flow generation 时容易出现目标冲突，而双分支模型虽然缓解冲突，却往往只在末层做 shallow fusion，导致 understanding branch 的语义信息压缩成固定条件，generation branch 拿不到足够细粒度的跨层信息。

LightFusion 要解决的问题不是“再造一个更大的 unified model”，而是：如何把已经很强的理解模型 QWen2.5-VL-7B 与生成模型 Wan2.2-TI2V-5B 低成本地融合成一个统一理解-生成模型，同时尽量保留两者原有能力。这也是它和 BAGEL 之后一批 unified model 工作的关键差异：BAGEL 强调统一多模态预训练的涌现能力；LightFusion 更像是一条工程可达的“model fusion / model grafting”路径，用少得多的训练 token 获得接近甚至超过部分重训练 UMM 的效果。

这个问题值得研究，因为 unified model 的瓶颈并不只在最终 benchmark 分数，还在可复现性和可训练性。若能证明“强 VLM + 强 DiT + 少量插入式 cross-modal attention”就能得到高质量 T2I 与 editing，同时理解能力不明显退化，那么后续研究可以更快地迭代融合方式、数据配比和后训练策略，而不必每次都承担完整大规模预训练成本。

2. Idea (核心思想)

核心 insight 是：不要把理解模型的最终层输出当作唯一条件喂给生成模型，而是在每一层让理解路径与生成路径通过 zero-initialized multimodal self-attention 持续交互。这样既保留 QWen2.5-VL 的 autoregressive / multimodal reasoning 能力，也保留 Wan2.2-TI2V 的 denoising / flow generation 能力，训练初期不会因为随机初始化的融合模块破坏两个 base model 的分布。

关键创新可以概括为 Double Fusion：第一重 fusion 是 VLM branch 与 DiT branch 的深层逐层融合；第二重 fusion 是 ViT tokens 的高层语义与 VAE tokens 的低层空间细节融合。相比 BLIP3-o、UniWorld-V1 或其它 shallow-fusion 方法只使用 final-layer VLM representation 作为 diffusion 条件，LightFusion 让第 $i$ 个 DiT block 与第 $i$ 个 VLM block 的 hidden states 对齐交互，因此生成侧能早期、连续地获得跨模态信息。

3. Method (方法)

3.1 Overall framework：Double Fusion architecture

Figure 2 解读：图中左侧是 understanding pathway，处理 text tokens 与 QWen2.5-VL vision encoder 产生的 ViT tokens；右侧是 generation pathway，处理 Wan2.2-TI2V 3D causal VAE 产生的 VAE tokens。每一层原始 VLM block 与 DiT block 都被保留，中间插入 multimodal self-attention，使 text / ViT / VAE 三类 token 能在同一 generalized causal attention 机制下交互。QWen2.5-VL-7B 比 Wan2.2-TI2V-5B 少 2 层，因此最后两个 multimodal self-attention block 会复用 VLM final-layer output 作为对应条件。

方法直觉是：理解分支擅长语义与指令解释，生成分支擅长像素/latent 空间的图像合成；若只在末层把语义压缩成一个条件向量，生成分支很难在早期 denoising / flow steps 中使用细粒度语义。LightFusion 把 interaction 插在全网络深度中，让语义 token 和视觉 latent 在多层逐步对齐；zero initialization 则让新增模块初始时近似“不改变”两个 base models，降低 fusion training 的灾难性破坏风险。

3.2 三类 token 与 generalized causal attention

Text tokens：来自语言输入 / prompt，由 QWen2.5-VL 的语言路径处理，是 instruction-following 与语义约束的主要来源。
ViT tokens：来自 QWen2.5-VL vision encoder，表示源图或视觉输入的高层语义；在 image editing 中尤其重要，因为编辑指令常需要保留对象、属性、布局等语义结构。
VAE tokens：来自 Wan2.2-TI2V-5B 的 3D causal VAE，提供 $16 \times$ spatial compression 与 $4 \times$ temporal compression，偏向低层空间/纹理信号。

论文没有给出独立 attention 公式；按文字描述，可将第 $i$ 层的融合抽象为： $U_{i} = VLM_{i} (U_{i - 1}), G_{i} = DiT_{i} (G_{i - 1}),$ $[\tilde{U}_{i}, \tilde{G}_{i}] = [U_{i}, G_{i}] + Δ_{i} ([U_{i}, G_{i}]; M_{causal}), Δ_{i} \approx 0 at initialization .$ 这里 $U_{i}$ 表示 text + ViT 的 understanding hidden states， $G_{i}$ 表示 VAE / generation hidden states， $M_{causal}$ 是继承自 BAGEL 的 generalized causal attention mask。上式只是便于理解的抽象：论文强调 zero-initialized multimodal self-attention 的作用，但没有公开具体实现代码或逐项 loss 公式。

3.3 Image editing 中的双视觉表示

在 image editing 任务里，source image 同时进入两套视觉 tokenizer：QWen2.5-VL vision encoder 给出 ViT tokens，Wan2.2-TI2V-5B VAE 给出 VAE tokens。ViT tokens 更适合表达“要保留/修改什么对象、属性、关系”，VAE tokens 更适合保留低层空间布局、纹理和细节。LightFusion 的设计让这两种视觉表示不是二选一，而是在 multimodal self-attention 中共同作为条件信号，因此能在编辑时兼顾 instruction following 与 content preservation。

3.4 Training data 与三阶段训练

训练数据约 45M samples，覆盖 text-to-image generation 与 image editing。公开来源包括 BLIP-3o、Civitai、OmniGen、OmniEdit、GPT-IMAGE-EDIT-1.5M、UniWorld-V1，并补充约 4.5M self-curated synthetic samples。作者还使用 VLM 根据 source-target image pairs 细化公开 editing data 的 editing instructions，以提升指令精确度。

训练采用 NaViT-style image processing，保持原始 aspect ratio：generation 输入的 short side 最小 512、long side 最大 1024；ViT token extraction 的输入 short side 最小 224、long side 最大 532。完整训练 70K steps，AdamW optimizer，2K warmup，固定 learning rate $3 \times 1 0^{- 5}$ ，sequence length 在 16,384 到 20,480 tokens 之间。为了 classifier-free guidance，训练中随机 drop text / VAE / ViT tokens，概率分别是 0.1 / 0.1 / 0.5。理解分支全程冻结，以保护 QWen2.5-VL-7B 的理解能力。

三阶段训练策略是逐步增加高质量数据比例：第一阶段以 common T2I data 为主，只混入少量 high-quality T2I 与 editing data；第二、三阶段逐步提高 high-quality T2I 与 editing data 的采样比例。论文只给出阶段趋势，没有给出每阶段精确采样比例、batch size、GPU 数或硬件配置；因此这些复现关键参数不能从论文中精确恢复。

3.5 Paper-level pseudocode（无公开代码实现）

代码搜索未找到开源实现；下面 pseudocode 仅反映论文机制，不代表 released code。

class LightFusionLayer(nn.Module):
    def __init__(self, vlm_block, dit_block, mm_attn):
        super().__init__()
        self.vlm_block = vlm_block          # from QWen2.5-VL-7B
        self.dit_block = dit_block          # from Wan2.2-TI2V-5B
        self.mm_attn = zero_init(mm_attn)   # inserted fusion block
 
    def forward(self, text_vit_tokens, vae_tokens, causal_mask):
        u = self.vlm_block(text_vit_tokens)     # semantic / understanding pathway
        g = self.dit_block(vae_tokens)          # generation latent pathway
        fused = torch.cat([u, g], dim=1)
        delta = self.mm_attn(fused, attention_mask=causal_mask)
        delta_u, delta_g = split_like(delta, [u, g])
        return u + delta_u, g + delta_g

def prepare_editing_condition(prompt, source_image, qwen_vit, wan_vae, drop_probs):
    text_tokens = tokenize(prompt)
    vit_tokens = qwen_vit.encode(source_image)  # high-level semantics
    vae_tokens = wan_vae.encode(source_image)   # low-level spatial details
 
    if torch.rand(()) < drop_probs["text"]:
        text_tokens = make_null_text_tokens()
    if torch.rand(()) < drop_probs["vit"]:
        vit_tokens = make_null_vit_tokens()
    if torch.rand(()) < drop_probs["vae"]:
        vae_tokens = make_null_vae_tokens()
    return text_tokens, vit_tokens, vae_tokens

def train_lightfusion(model, dataloaders, optimizer, stages):
    # stages gradually increase high-quality T2I / editing ratios.
    freeze(model.understanding_branch)
    for stage in stages:
        sampler = build_mixture_sampler(dataloaders, ratios=stage.ratios)
        for batch in sampler:
            text_tokens, vit_tokens, vae_tokens = prepare_inputs(batch)
            pred = model(text_tokens, vit_tokens, vae_tokens)
            loss = generation_training_loss(pred, batch.target)  # paper does not specify exact formula
            loss.backward()
            optimizer.step()
            optimizer.zero_grad()

3.6 公开代码状态

Paper/PDF 中给出 Project Page：https://ucsc-vlaa.github.io/LightFusion/，当前访问为 GitHub Pages 404。
GitHub repo search / code search for LightFusion、LightBagel、2510.22946、完整标题均未找到官方 repo；UCSC-VLAA org 公开 repo 列表中也没有 LightFusion/LightBagel。
因无可访问代码，本文不设置 github / github_ref frontmatter，也不写 code-to-paper mapping table；若后续官方 repo 恢复，应补充 commit anchor、训练配置来源和 paper-vs-code gap。

4. Experimental Setup (实验设置)

4.1 Datasets

训练集约 45M samples，包含 T2I 与 image editing，来源为 BLIP-3o、Civitai、OmniGen、OmniEdit、GPT-IMAGE-EDIT-1.5M、UniWorld-V1，加上约 4.5M self-curated synthetic samples。评测覆盖四类能力：visual understanding 使用 MMBench、MMMU、MM-Vet；T2I generation 使用 GenEval 与 DPG-Bench；image editing 使用 GEdit-Bench-EN 与 ImgEdit-Bench；ablation 使用相同 general training setup，并在 visual tokenizer / timestep shift 实验中训练 40K steps。

4.2 Baselines

理解侧 baseline 包括 LLaVA-1.5、LLaVA-NeXT，以及统一模型中的 Janus-Pro、Emu3、Ovis-U1、OmniGen2、BAGEL、BLIP3-o、UniWorld-V1 等。T2I baseline 包括 SDv2.1、SDXL、IF-XL、LUMINA-Next、SD3-medium、FLUX.1-dev、NOVA、OmniGen、TokenFlow-XL、Janus、Show-o2、UniPic、UniPic 2.0、BAGEL、OmniGen2、UniWorld-V1 等。Editing baseline 包括 GPT-4o、Gemini-2.0-flash、Instruct-Pix2Pix、MagicBrush、AnyEdit、ICEdit、UltraEdit、Step1X-Edit、OmniGen2、BAGEL、Ovis-U1、UniPic / UniPic 2.0、UniWorld-V1。

4.3 Metrics 与 training config

MMBench/MMMU/MM-Vet 衡量多模态理解与推理；GenEval 分解 single object、two object、counting、colors、position、color attribution 并报告 overall；DPG-Bench 报告 Global、Entity、Attribute、Relation、Other、Overall；GEdit-Bench-EN 报告 SC、PQ、Overall；ImgEdit-Bench 报告 Add、Adjust、Extract、Replace、Remove、Background、Style、Hybrid、Action、Overall。

训练配置：base models 为 QWen2.5-VL-7B + Wan2.2-TI2V-5B；表 1 报告整体参数形式为 7B + 5B + 3B。完整训练 70K steps，AdamW，2K warmup，固定 LR $3 \times 1 0^{- 5}$ ，sequence length 16,384–20,480，drop probabilities 为 text 0.1、VAE 0.1、ViT 0.5，understanding branch frozen。论文未详细说明 batch size、GPU type/count、总 wall-clock time；不能把第三方摘要中的硬件信息当作论文事实写入复现配置。

5. Experimental Results (实验结果)

5.1 Token efficiency 与总体能力

Figure 1 解读：横轴是 seen tokens 的 log scale，纵轴是 GenEval / ImgEdit-Bench 等性能指标。LightFusion 位于 token-efficient region：作者强调它只用约 35B seen tokens，就在 GenEval 0.91 与 ImgEdit-Bench 3.77 上超过多种训练 token 更多的 UMM。这个图支撑论文主张：Double Fusion 的价值不只是最终分数，而是用较少训练量逼近/超过更重的统一模型。

表 1 的整体结果显示，LightFusion 在理解、生成、编辑三类任务上保持均衡：MMBench 83.5、MMMU 58.6、MM-Vet 67.1；GenEval 0.91†、DPG-Bench 82.16；ImgEdit-Bench 3.77、GEdit-EN 6.06。与 BAGEL 相比，LightFusion 的理解指标略低或接近（BAGEL MMB 85.0、MMMU 55.3、MM-Vet 67.2），但 GenEval 更高（0.91† vs 0.88†），GEdit-EN 略低（6.06 vs 6.52），ImgEdit-Bench 更高（3.77 vs 3.20）。

5.2 Text-to-image generation

Figure 3 解读：图中展示多种 aspect ratio 和复杂 prompt 下的 T2I samples，意在说明 LightFusion 不只是 benchmark score 高，也能在视觉质量、文字条件一致性和多样布局上保持稳定。这里的关键不是图像是否绝对优于闭源模型，而是用冻结/保留 base blocks 的轻量融合路线仍能产生高质量样例。

GenEval 表 2 中，LightFusion† 的分项为 Single object 1.00、Two object 0.97、Counting 0.93、Colors 0.94、Position 0.79、Color attribution 0.81、Overall 0.91。它超过 UniPic 2.0† 的 0.90、Ovis-U1† 的 0.89、BAGEL† 的 0.88、OmniGen2† 的 0.86、UniWorld-V1† 的 0.84。DPG-Bench 表 3 中，LightFusion 的 Overall 为 82.16，低于 Show-o2 86.14、UniPic 85.50、BAGEL 85.07、Janus Pro 84.19、SD3-medium 84.08、FLUX.1-dev 84.00，但仍高于 UniWorld-V1 81.38、BLIP3-o 8B 81.60、OmniGen 81.16。也就是说，LightFusion 在 compositional T2I 上尤其强，在 dense prompt following 上不是全局最佳，但仍处于 strong open unified model 区间。

5.3 Image editing

Figure 4 解读：图中给出多种编辑指令样例，重点展示 instruction following 与 content preservation 的折中。LightFusion 的 ViT+VAE 条件设计在这里很关键：ViT tokens 帮助理解“改什么”，VAE tokens 帮助保留“原图结构与细节”。如果只用 ViT，低层空间保真容易不足；如果只用 VAE，语义编辑目标又容易不清晰。

GEdit-Bench-EN 表 4 中，LightFusion 得到 SC 6.34、PQ 7.31、Overall 6.06；它低于 GPT-4o 7.53、UniPic 2.0 7.10、Step1X-Edit 6.70、BAGEL 6.52、Ovis-U1 6.42、OmniGen2 6.41，也高于 UniWorld-V1 4.85、ICEdit 4.84、MagicBrush 4.52。ImgEdit-Bench 表 5 中，LightFusion 的 Overall 为 3.77，优于 UniWorld-V1 3.26、OmniGen2 3.43、BAGEL 3.20、UniPic 3.49，但低于 GPT-4o 4.20、UniPic 2.0 4.06、Ovis-U1 3.98。分项上 LightFusion 在 Add 4.21、Replace 4.55、Remove 3.80、Hybrid 3.93 等类别表现强，说明它更擅长需要语义定位加局部生成的编辑类型。

5.4 Ablation：deep fusion、visual tokenizer、timestep shift

Figure 5 解读：横向合成图展示不同 fusion depth 的训练曲线，彩色区域对应不同训练阶段。论文定义 “0% Depth” 为第 $i$ 个 DiT block 使用第 $i$ 个 VLM block 输出作为条件；“100% Depth” 则等价于所有 DiT blocks 都只看 final VLM output，即 shallow / late fusion。曲线说明 0% Depth 在 T2I 与 editing 上都更稳、更高，支持“逐层深度融合优于末层条件”的结论。

Table 6 / 表 6a 显示 visual tokenizer choice 对 editing 影响很大：只用 ViT 时 GEdit-EN 3.91、ImgEdit 2.65；只用 VAE 时 4.93、3.38；ViT+VAE 达到 5.61、3.57。这个 ablation 直接支持 Double Fusion 的第二重含义：高层语义与低层空间信号是互补的。表 6b 显示 timestep shift 从 1 到 2 到 4 时，DPG-Bench 76.67 → 78.84 → 81.77，ImgEdit 3.07 → 3.36 → 3.57，说明更大的 timestep shift 能改善生成质量。

5.5 Limitations 与结论

论文没有单独的 limitations section。可从文本和实验中读出的限制包括：公开页面/代码当前不可访问，使得完整复现实验与 paper-code 对齐无法验证；训练细节缺少 batch size、硬件、阶段数据比例等关键参数；DPG-Bench、GEdit-Bench-EN 上虽强但不是最优，说明 light-weight fusion 并不自动超过所有专门模型或更重 UMM；理解分支冻结能保护 VLM 能力，但也限制了理解侧进一步适应生成任务的空间。

总体结论是，LightFusion/LightBagel 证明了“生成帮助理解/理解帮助生成”的一个更工程化版本：它没有让 generation training 反向显著提升理解 benchmark，而是通过冻结理解路径保住理解能力，再让理解路径的跨层语义持续帮助生成和编辑；与此同时，VAE low-level signals 与 ViT high-level semantics 的共同输入让 generation branch 在 editing 中更好地保留源图信息。对 unified model 方向而言，最重要的启发是：大规模统一预训练不是唯一道路，深层、零初始化、双视觉表示的 model fusion 也能形成强基线。

Paper Notes

探索

LightFusion: A Light-weighted, Double Fusion Framework for Unified Multimodal Understanding and Generation

LightFusion: A Light-weighted, Double Fusion Framework for Unified Multimodal Understanding and Generation

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Overall framework：Double Fusion architecture

3.2 三类 token 与 generalized causal attention

3.3 Image editing 中的双视觉表示

3.4 Training data 与三阶段训练

3.5 Paper-level pseudocode（无公开代码实现）

3.6 公开代码状态

4. Experimental Setup (实验设置)

4.1 Datasets

4.2 Baselines

4.3 Metrics 与 training config

5. Experimental Results (实验结果)

5.1 Token efficiency 与总体能力

5.2 Text-to-image generation

5.3 Image editing

5.4 Ablation：deep fusion、visual tokenizer、timestep shift

5.5 Limitations 与结论

目录