Qwen-Image-VAE-2.0 Technical Report

Paper: arXiv:2605.13565 Code: alibaba/OmniDoc-TokenBench — benchmark/evaluation repo only; the VAE model/training code was not found publicly. Code reference: main @ f2815a7 (2026-05-14) Dataset: alibabagroup/OmniDoc-TokenBench

1. Motivation (研究动机)

1.1 一句话定位

这篇技术报告的核心不是再做一个普通图像 VAE。它要解决的是高分辨率 latent diffusion 里的三角矛盾。这个三角矛盾是：更高压缩率、更高重建保真度、更容易被 DiT 学习的 latent space。 Qwen-Image-VAE-2.0 的目标是在 $f 16$ 和 $f 32$ 空间压缩下仍然保持清晰重建、文本可读性和 downstream diffusability。论文把这个问题落在两个非常具体的场景上：自然图像重建与 text-rich document reconstruction。其中 text-rich image 是更严苛的压力测试，因为字符 stroke、间距、细线、标点和小字号最容易被高压缩 VAE 抹掉。

1.2 为什么原来的 $f 8$ latent 不够

Latent Diffusion Models 通常先用 VAE 把图像压到 latent，再在 latent 上训练 diffusion / DiT。传统主流设置常用空间压缩率 $f 8$ 。当目标从 512p 走向 native high-resolution synthesis 时， $f 8$ latent token 数量仍然很大。对 Diffusion Transformer 来说，token 数增加会直接拉高注意力和 MLP 计算成本。即使模型结构本身有优化，latent 分辨率仍然是吞吐、显存和训练成本的主要瓶颈。因此直觉上要把 $f$ 从 8 提到 16 或 32。但空间压缩越激进，每个 latent cell 要承担越大的原图 patch。这会带来信息瓶颈：边缘、高频纹理、字符笔画和局部几何先被 downsampling 消掉。纯粹把图像压小不是难点；难点是在极高压缩下仍然保留足够多可逆细节。

1.3 为什么“增加 latent channels”也不是完整答案

一个直接补救方法是把 channel 数 $C$ 做大。例如从 $f 8 c 16$ 走向 $f 16 c 64$ 、 $f 16 c 128$ 、 $f 32 c 128$ 或 $f 32 c 192$ 。这样可以让每个 spatial cell 拥有更高维的表示容量。但高维 latent 可能变得过度复杂、各向异性、局部不平滑。对 reconstruction 来说，高维 latent 可能有帮助。对 downstream diffusion 来说，高维 latent 不一定更好学。论文把这个称为 diffusability 问题：latent 不仅要能 reconstruct，还要能作为生成模型的好训练空间。如果 latent distribution 结构差，DiT 会收敛慢，生成质量差，训练曲线不稳定。所以 Qwen-Image-VAE-2.0 同时强调 reconstruction fidelity 和 generation-friendliness。

1.4 为什么 text-rich reconstruction 是关键评测

自然图像 benchmark 里，少量纹理模糊可能不影响 PSNR / SSIM 太多。文本图像里，一个笔画错位就可能让字符不可读。 “orange” 与 “oronge” 在像素指标上可能差别很小，但语义上已经错了。图表、论文截图、报表、报纸、幻灯片、笔记等文档图像包含大量小字号文字。高压缩 VAE 最容易在这些地方暴露缺陷。论文认为传统 ImageNet / FFHQ 不足以评估这种能力。因此它提出 OmniDoc-TokenBench：约 3K text-rich document images，配套 OCR-based NED metric。 NED 直接比较原图 OCR 输出与重建图 OCR 输出的字符串编辑距离。这比只看 PSNR / SSIM 更能反映“字符是否还能读”。

1.5 这篇论文真正要证明什么

论文要证明高压缩 VAE 并不必然牺牲文本与细节。它还要证明高压缩 latent 不必然难以训练 DiT。关键是不能只改一个旋钮。架构上要减少 downsampling 导致的信息损失。表示上要扩大 channel 容量以补偿 spatial token 减少。训练上要让 latent 对齐到语义友好的视觉特征。数据上要显式补足 text-rich and document-like samples。评测上要把 OCR-level text fidelity 纳入指标。这套组合才是 Qwen-Image-VAE-2.0 相比普通高压缩 VAE 的中心贡献。

1.6 对读者的实用价值

如果关心 image/video diffusion 训练成本，这篇给出一个 latent compression 的系统方案。如果关心 text rendering 或 document reconstruction，这篇指出传统 pixel metrics 的盲区。如果关心 VAE 对 DiT 的影响，这篇强调“VAE 重建好”不等价于“latent 好生成”。如果想复现，必须注意公开代码只覆盖 OmniDoc-TokenBench evaluation，不覆盖 Qwen-Image-VAE-2.0 training/model。因此这篇更适合作为 architecture / training strategy / benchmark 参考，而不是开箱即用的模型实现说明。

2. Idea (核心思想)

2.1 总体思想

Qwen-Image-VAE-2.0 的核心 idea 是把高压缩 VAE 拆成四个协同问题。第一个问题是容量：用 expanded latent channels 补偿空间压缩。第二个问题是细节路径：用 Global Skip Connection 让 pixel-level signal 绕过部分 downsampling。第三个问题是 latent geometry：用 semantic alignment 让 latent 更容易被 DiT 学习。第四个问题是数据覆盖：用 billion-scale general images + real/synthetic text-rich data 训练。这四个组件一起服务于同一个目标： $f 16$ / $f 32$ 下同时保留细节和 diffusability。

2.2 高压缩 VAE 的“信息账本”

输入图像可写成 $I \in R^{H \times W \times 3}$ 。 VAE 输出 latent 可写成 $z \in R^{H / f \times W / f \times C}$ 。当 $f$ 从 8 增大到 16，spatial token 数约减少到原来的 $1/4$ 。当 $f$ 从 8 增大到 32，spatial token 数约减少到原来的 $1/16$ 。如果 $C$ 不增加，每个 latent cell 必须承载过多局部信息。所以论文使用 $f 16 c 64$ 、 $f 16 c 128$ 、 $f 32 c 128$ 、 $f 32 c 192$ 四个配置。直观上，spatial 信息被压缩后，需要 channel 维度承担更密集的内容编码。论文特别指出，增加 $C$ 不必然显著拖慢 DiT 主体训练。原因是 DiT 通常会先把 latent 投影到固定 hidden dimension。因此 $C$ 的增加主要影响输入投影，而不是所有 transformer block 的 token 数平方项。

2.3 GSC 的直觉

普通 encoder 会通过连续 downsampling 把图像变成低分辨率 latent。每次 downsampling 都可能丢失小字、细线、边缘和局部纹理。 Global Skip Connection 的直觉是给高频信息一条“旁路”。它不是只在邻近 stage 做 local residual。它把 input pixel-level information 通过 space-to-channel 操作折叠进更深层 latent。这样深层表示能直接看到原始像素的局部高频信息。对文字来说，这相当于把 stroke-level clue 直接送到 reconstruction path。对自然图像来说，它也帮助恢复纹理边界与细节。

2.4 Semantic alignment 的直觉

只优化 $L_{1}$ / LPIPS 会让 VAE 更关注 reconstruction。但 downstream DiT 需要一个语义结构更清晰、更平滑的 latent space。论文用 DINOv2-L 中间层特征作为语义教师。它不选择最终层，也不做多层融合。原因是最终层可能更偏全局语义，多层融合又可能引入噪声。中间层 spatial maps 更平滑，也更容易与 VAE latent 对齐。这个设计目标不是让 latent 变成 DINO feature 的拷贝。它是给 latent 一个 generation-friendly geometry。训练早期使用严格 margin 强化对齐。训练后期逐渐放松 margin，让 reconstruction 与 semantic consistency 平衡。

2.5 数据策略的直觉

真实互联网图像规模大但噪声多。论文先用 clarity / blur filters 去掉低质量样本。普通图像让 VAE 学会通用 texture、object、layout。真实 text-rich data 让 VAE 学会文档、幻灯片、网页、海报、论文截图等高字符密度场景。合成文本数据进一步控制字号、背景、语言、难度。论文特别避免只用白底黑字的 synthetic data。因为现实图像中的文字常常叠在复杂背景上。因此合成 pipeline 使用 background-contained synthesis。字符尺寸覆盖 5 到 20 pixels，以适配不同 compression settings。

2.6 与 prior high-compression VAE 的差异

一类方法主要靠提高压缩率降低 DiT token 数，但 text rendering 会崩。一类方法使用很大的 latent channels，但 latent diffusability 可能差。一类方法把语义 encoder 特征作为 representation，但 reconstruction 细节不足。 Qwen-Image-VAE-2.0 的不同点在于同时处理“像素细节”和“语义可生成性”。 GSC 负责把高频信息送进 latent。 Expanded channels 负责容量。 Semantic alignment 负责 latent geometry。 Text-rich data / benchmark 负责把问题显式暴露出来。

2.7 Figure 1 读图

Figure 1 的重点是三种 residual 设计对比：No Skip Connection、Local Skip Connection、Global Skip Connection。 NSC 完全依赖 encoder downsampling 后的主干路径。 LSC 只在局部 stage 内提供 shortcut。 GSC 则把原图像素经过 space-to-channel 后送到更深层。图中还包含 f16c64 training-from-scratch ablation。论文结论是 GSC 收敛更快，并且重建指标更好。这解释了为什么 Qwen-Image-VAE-2.0 全系列都采用 GSC。

3. Method (方法)

3.1 Overall framework

Qwen-Image-VAE-2.0 是一组 image VAE。它覆盖两个空间压缩率： $f 16$ 与 $f 32$ 。它覆盖四个 channel 设置： $C = 64, 128, 128, 192$ 。 encoder 把图像映射到 latent。 decoder 把 latent 重建回图像。训练目标包含 reconstruction、perceptual similarity 和 semantic alignment。训练数据包含大规模通用图像、真实文档图像、合成文本图像。下游用 SiT / DiT 训练验证 latent 是否“好生成”。

3.2 Model configurations

Model	$f$	$C$	$d_{e n c}$	$d_{d ec}$	layers	residual	params Enc / Dec
Qwen-Image-VAE-2.0-f16c64	16	64	96	144	5	GSC	76M / 248M
Qwen-Image-VAE-2.0-f16c128	16	128	96	144	5	GSC	76M / 248M
Qwen-Image-VAE-2.0-f32c128	32	128	96	144	6	GSC	77M / 250M
Qwen-Image-VAE-2.0-f32c192	32	192	96	144	6	GSC	78M / 250M

$d_{e n c}$ 与 $d_{d ec}$ 是 encoder / decoder first projected hidden dimensions。所有配置都使用 GSC。 $f 32$ 版本比 $f 16$ 多一层。 encoder 参数量约 76M 到 78M。 decoder 参数量约 248M 到 250M。这体现了论文的 asymmetric design：encoder 更轻，decoder 更重。这种 asymmetry 是为了降低 DiT 训练时的编码开销，同时让 decoder 负责高保真还原。

3.3 Global Skip Connection

GSC 针对的是 aggressive downsampling 里的高频信息丢失。它通过 non-parametric space-to-channel operation 把空间局部块折叠到 channel 维。随后 reshape / projection，让这条旁路能与 deeper latent representation 合并。这条路径绕过初始 downsampling stage。因此深层 latent 不只依赖主干 encoder 的逐层压缩结果。对字符重建而言，它保留了笔画方向、边界和小尺度结构。对自然图像而言，它保留了纹理与局部边缘。

def conceptual_gsc_encode(image, encoder_stages, space_to_channel, merge):
    # image: [B, 3, H, W]
    # This is conceptual pseudocode from the paper figure, not released model code.
    high_frequency_route = space_to_channel(image)
    h = image
    for stage in encoder_stages:
        h = stage(h)
    latent = merge(h, high_frequency_route)
    return latent

space_to_channel 的作用类似把局部 patch 重新排列到 channel 维。这不会凭空增加信息，而是改变信息进入 bottleneck 的路径。与 local skip 相比，GSC 更直接地把原始像素级信息带到深层。与完全无 skip 相比，GSC 能降低 encoder 主路径独自保存所有细节的压力。论文的 ablation 显示 GSC 在 f16c64 scratch training 中收敛更快。

3.4 Attention-free and asymmetric backbone

论文选择 attention-free encoder-decoder backbone。 self-attention 的复杂度随 sequence length $N$ 约为 $O (N^{2})$ 。卷积核大小为 $k$ 时，convolution 约为 $O (N k^{2})$ 。对高分辨率图像， $N$ 很大，attention 的显存和吞吐压力明显。 VAE encoder / decoder 并不一定需要全局 self-attention 才能完成局部重建。因此论文用 attention-free 结构减少高分辨率处理开销。同时，encoder 与 decoder 非对称。 encoder 轻量化的意义是训练 diffusion 时需要频繁编码图像。 decoder 更重的意义是最终重建质量主要由 decoder 展开细节。这使 VAE 更适合作为大规模生成模型的 tokenizer，而不仅是 standalone autoencoder。

3.5 Loss design

论文强调训练目标“simple yet effective”。它没有采用传统 VAE 常见的 KL prior。它也没有采用 adversarial / GAN loss。总损失由三部分组成： $L_{total} = L_{recon} + λ_{lpips} L_{lpips} + λ_{align} L_{align} .$ $L_{recon}$ 是 pixel-level $L_{1}$ reconstruction loss。 $L_{lpips}$ 是 perceptual loss，用来补充纯像素损失。 $L_{align}$ 是 semantic alignment loss，用来提升 latent diffusability。去掉 KL 的直觉是避免过强分布先验损害高保真细节。去掉 GAN 的直觉是降低训练复杂度和 artifact 风险。论文没有公开具体 optimizer、learning rate、batch size、training steps 或硬件配置。因此这些训练配置不能从默认 VAE 代码或其他 repo 推断。

3.6 Semantic alignment details

语义教师模型选择 DINOv2-L。论文比较过 DINOv2、DINOv3、MAE、PE-Spatial 等候选。结论是 DINOv2 在 generation-friendly semantic priors 上表现更稳。对齐层选择单个 middle layer。论文不选择 final layer，因为 final layer 更偏语义聚合，spatial map 不一定最适合重建对齐。论文不做 multi-layer fusion，因为融合多层可能引入噪声。给定 target image，先提取 semantic feature map $f \in R^{h \times w \times c}$ 。再把 VAE latent $z$ 通过 learnable linear transformation 投影成 $z^{'}$ 。 $z^{'}$ 与 $f$ 在 spatial position 上对齐。

Semantic alignment 包含两个 margin loss： $L_{m cos} (z^{'}, f) = \frac{1}{N} \sum_{p \in P} ReLU (1 - cos (z_{p}^{'}, f_{p}) - m_{cos}) .$ $L_{m d m s} (z^{'}, f) = \frac{1}{N ^{2}} \sum_{p \in P} \sum_{q \in P} ReLU (cos (z_{p}^{'}, z_{q}^{'}) - cos (f_{p}, f_{q}) - m_{d i s t}) .$ $L_{a l i g n} (z, f) = L_{m cos} (z^{'}, f) + L_{m d m s} (z^{'}, f) .$ $P$ 是 spatial positions。 $N = h w$ 是空间位置数量。 $L_{m cos}$ 对齐每个位置的 latent direction 与 semantic feature direction。 $L_{m d m s}$ 对齐 latent 内部的相对 spatial similarity structure。这比只做逐点 feature matching 更强调 spatial layout。对 text-rich image 来说，layout preservation 很重要，因为字符相对位置与行距也影响可读性。

3.7 Multi-stage training strategy

训练不是一次性把所有数据和约束混在一起。论文采用 multi-stage curriculum。第一条 curriculum 是 resolution。训练从较低分辨率开始，再逐步扩展到 2K。这个过程覆盖多种 aspect ratios。目的不是只让模型适应方图，而是保持不同构图下的结构完整性。第二条 curriculum 是 text exposure。训练早期先用 general-domain images 加速初始收敛。随后加入 real-world text-rich samples。最后加入 synthetic text data，并覆盖不同 difficulty levels。这样模型先学通用结构，再学真实文档复杂性，最后用可控合成文本补足字符精度。

论文强调要在 general texture 与 character detail 之间保持 balanced ratio。否则模型可能偏向自然纹理，或过拟合合成文字。第三条 curriculum 是 semantic alignment strength。训练早期使用 strict margins $m_{cos}$ 与 $m_{d i s t}$ 。强约束帮助 latent space 更快获得 diffusability。训练后期逐渐放松 alignment margins。放松后模型可以更好平衡 semantic consistency 与 pixel-level reconstruction。

这解释了为什么 semantic alignment 不是固定强度正则，而是 staged paradigm。

3.8 Data collection

通用图像训练数据扩展到 billion scale。数据覆盖不同类别、分辨率和 aspect ratios。大规模网页/视觉数据不可避免包含 blur、compression artifacts 和低质量边缘。论文使用 clarity and blur filters 去除低质量样本。对 text-rich images，论文采用两条路线。第一条是用 OCR filter 从真实数据中筛出高字符密度样本。第二条是整理 specialized document corpus。文档语料包括 academic papers、presentation slides、posters、complex web pages 等。这些样本迫使 VAE 学会保留字符边缘和语义结构。

3.9 Data synthesis

合成数据 pipeline 面向 character-level reconstruction。它支持 alphabetic English 与 logographic Chinese。这两类文字的 stroke density 和 complexity 不同。论文观察到，纯白底黑字合成数据泛化到真实图像较差。因此采用 background-contained synthesis。文本会渲染到从 general-domain images 随机采样的背景上。这更接近现实中“文字叠在复杂纹理或图片上”的情况。合成字号覆盖约 5 到 20 pixels。小字号对 $f 32$ compression 尤其困难。多粒度文本监督强迫 VAE 保留细节，而不是只学大标题。

3.10 OmniDoc-TokenBench construction

OmniDoc-TokenBench 来自 OmniDocBench。它面向 document image reconstruction，而不是 scene text detection。它包含约 3K text-rich images。图像分辨率统一为 256×256。覆盖九类文档：book、slides、color textbook、exam paper、academic paper、magazine、financial report、newspaper、note。覆盖 English 与 Chinese。构造时从 text block 左上角裁剪 region。中文参考字符尺寸设为约 16 px。英文参考字符尺寸设为约 10 px。内容过滤使用 PP-OCRv5。中文样本保留 OCR 字符数在 [200, 600] 的样本。英文样本保留 OCR 字符数在 [300, 600] 的样本。 dedup 使用 character-level n-gram overlap。中文使用 $n = 3$ 。英文使用 $n = 5$ 。 intra-page overlap threshold 为 0.2。 intra-category overlap threshold 为 0.3。设计目标是在 OCR 仍可稳定工作的前提下，让 VAE reconstruction 足够困难。

3.11 NED metric

NED 是 Normalized Edit Distance。它的 reference 不是人工 annotation。它使用同一个 OCR model 分别识别 original image 与 reconstructed image。这样 OCR 对干净图像的系统误差在两侧大致抵消。 NED 更关注 reconstruction 引入的字符退化。 $NED = \frac{1}{N} \sum_{i = 1}^{N} (1 - \frac{d _{edit} ( s _{gt}^{(i)} , s _{recon}^{(i)} )}{m a x ( ∣ s _{gt}^{(i)} ∣ , ∣ s _{recon}^{(i)} ∣ )}) .$ $s_{gt}^{(i)}$ 是原图 OCR 字符串。 $s_{recon}^{(i)}$ 是重建图 OCR 字符串。 $d_{edit}$ 是 Levenshtein distance。 NED 越高表示 text fidelity 越好。论文说明评估使用 raw OCR outputs，不做 text normalization。因此 minor spacing artifacts 可能放大 edit distance。但所有模型使用同一 pipeline，比较仍然公平。

3.12 Released code mapping

公开 repo alibaba/OmniDoc-TokenBench 只包含 benchmark/evaluation。 README.md 描述 dataset、metrics、installation、dataset download、reconstruction evaluation workflow。 eval_metrics.py 是主要评测脚本。 example_recon.py 是一个用 diffusers AutoencoderKL 做 folder reconstruction 的示例。 repo 还包含 assets/bench.png 与 assets/results.png。没有发现 Qwen-Image-VAE-2.0 的 architecture class、training loop、weights download script 或 config file。因此下面的 implementation mapping 只能映射 benchmark 部分，而不能映射 VAE 训练实现。

Paper concept	Public source file @ `f2815a7`	Verified code behavior
OmniDoc-TokenBench usage	`README.md`	dataset download, expected `gt_dir` / `recon_dir`, CLI examples
PSNR / SSIM	`eval_metrics.py`	uses `piq.psnr` and `piq.ssim` over matched filenames
LPIPS	`eval_metrics.py`	uses `lpips` package and reports aggregate metric
FID	`eval_metrics.py`	uses `pytorch_fid.fid_score.calculate_fid_given_paths`
NED	`eval_metrics.py`	uses `PaddleOCR` and `Levenshtein.distance`
Output files	`eval_metrics.py`	writes `results.json` and `ned_details.json`
Reconstruction demo	`example_recon.py`	loads FLUX.1-dev VAE, encodes with `latent_dist.mode()`, decodes and saves images

3.13 Public evaluation pseudocode

def evaluate_reconstruction(gt_dir, recon_dir, mode="all"):
    files = get_matching_image_filenames(gt_dir, recon_dir)
    results = {}
    if mode in ["pixel", "all"]:
        results.update(compute_psnr_ssim_lpips(gt_dir, recon_dir, files))
        results["FID"] = compute_fid(gt_dir, recon_dir)
    if mode in ["ned", "all"]:
        details = []
        for file in files:
            gt_text = paddleocr(gt_dir / file)
            recon_text = paddleocr(recon_dir / file)
            ned = 1 - levenshtein(gt_text, recon_text) / max(len(gt_text), len(recon_text))
            details.append({"file": file, "ned": ned})
        results["NED"] = mean(item["ned"] for item in details)
    return results

这段伪代码对应公开 benchmark repo。它不是 Qwen-Image-VAE-2.0 训练伪代码。公开 repo 默认 --mode ned。 --mode pixel 计算 PSNR / SSIM / LPIPS / FID。 --mode all 同时计算传统像素指标与 OCR-based NED。 README 示例中 FLUX.1-dev 结果包含 num_samples=3042、PSNR 26.2377、SSIM 0.9364、LPIPS 0.0247、FID 0.5543、NED 0.9546。

4. Experimental Setup (实验设置)

4.1 Evaluation questions

实验回答三个问题。第一，Qwen-Image-VAE-2.0 在 public reconstruction benchmarks 上是否优于同压缩率 baseline。第二，它在 text-rich OmniDoc-TokenBench 上是否保持可读文本。第三，它的 latent 是否适合 downstream DiT / SiT generation。因此实验不仅看 reconstruction，也看 diffusability。

4.2 Public reconstruction benchmarks

ImageNet 用于 low-resolution 256p general-domain reconstruction。 FFHQ 用于 high-resolution 1K face reconstruction。指标是 PSNR 和 SSIM。 Table 2 同时报告 generation without CFG。 Generation 指标为 Inception Score (IS) 和 generative FID (gFID)。论文为公平比较只报告 no-CFG generation。原因是不同 latent dimensions 可能对应不同 optimal CFG scale。

4.3 Text-rich benchmark

OmniDoc-TokenBench 用于 text-rich reconstruction。规模约 3K，README / code 示例显示 3042 samples。输入大小为 256×256。文档类型覆盖九类。指标包含 SSIM、PSNR、LPIPS、FID、NED。 NED 是主要 text fidelity 指标。 NED 使用 PP-OCRv5 / PaddleOCR 与 Levenshtein distance。

4.4 Baselines

$f 8$ baselines 包括 FLUX.1-dev、HunyuanVideo、Qwen-Image、Wan2.1、Cosmos-0.1-CI8x8。 $f 16$ baselines 包括 Cosmos-0.1-CI16x16、HunyuanVideo-1.5、HunyuanImage-3.0、VAVAE、Wan2.2、Stepvideo-T2V、FLUX.2-dev、VTP-Large、RAE-DINOv2-B、RAE-SigLIP2-B。 $f 32$ baselines 包括 DC-AE-sana、HunyuanImage-2.1、LTX-Video、LTX-2。 Qwen variants 在同表中按 compression tier 对比。这样可以区分“同压缩率胜出”和“跨压缩率接近 f8”的两种结论。

4.5 Downstream diffusability setup

论文用 ImageNet 256×256 训练 SiT 来验证 latent diffusability。 $f 8$ setting 使用 SiT-XL/2。 $f 16$ 与 $f 32$ setting 使用 SiT-XL/1。结果在 80 epochs 报告。报告指标是 IS 与 gFID。 Table 2 标注 generation is without CFG。定性图还展示了 further-trained SiT-XL with classifier-free guidance 的 ImageNet samples。

4.6 Training details that are not disclosed

论文披露了 architecture configs。论文披露了 loss families。论文披露了 data curriculum。论文披露了 semantic alignment strategy。论文没有披露完整 optimizer、LR、batch size、scheduler、training steps、hardware、exact data mixture ratio。公开 GitHub repo 也没有这些 training config。因此任何具体 launch config 数字都不能从公开代码推断。笔记中所有训练配置数字只引用论文 Table 1 或 benchmark code，而不引用默认值。

4.7 Code verification summary

GitHub main branch verified at f2815a710246c76e46307c943bb633daf2516c9a。 Short github_ref is main@f2815a7。 Commit date is 2026-05-14T03:18:09Z。 Repository tree at this ref contains README.md、eval_metrics.py、example_recon.py、LICENSE、assets/。 eval_metrics.py implements PSNR、SSIM、LPIPS、FID、NED。 example_recon.py uses diffusers.AutoencoderKL with FLUX.1-dev as example。 No public source file implements Qwen-Image-VAE-2.0 GSC model or training loss.

5. Experimental Results and Caveats (实验结果与局限)

5.1 Public reconstruction and generation results

Model	Setting	IS ↑	gFID ↓	ImageNet PSNR ↑	ImageNet SSIM ↑	FFHQ PSNR ↑	FFHQ SSIM ↑
FLUX.1-dev	f8c16	54.64	25.41	32.84	0.9155	38.14	0.9574
HunyuanVideo	f8c16	63.57	21.29	33.21	0.9143	39.85	0.9607
Qwen-Image	f8c16	73.52	17.68	33.42	0.9159	38.75	0.9512
FLUX.2-dev	f16c128	91.53	10.61	34.34	0.9358	40.36	0.9676
Qwen-Image-VAE-2.0-f16c64	f16c64	102.76	9.52	32.72	0.9086	39.14	0.9541
Qwen-Image-VAE-2.0-f16c128	f16c128	92.42	10.29	35.90	0.9519	43.10	0.9795
LTX-Video	f32c128	33.48	44.94	29.57	0.8329	35.56	0.9051
LTX-2	f32c128	42.57	38.19	26.06	0.7925	33.63	0.9058
Qwen-Image-VAE-2.0-f32c128	f32c128	81.23	15.05	29.69	0.8423	35.91	0.9177
Qwen-Image-VAE-2.0-f32c192	f32c192	72.31	18.33	31.13	0.8785	37.52	0.9381

f16c128 是 reconstruction 最强的 Qwen variant。它在 ImageNet 上达到 PSNR 35.90 / SSIM 0.9519。它在 FFHQ 上达到 PSNR 43.10 / SSIM 0.9795。这明显高于多数 f8 baselines。 f16c64 的 reconstruction 数字略低于 f16c128，但 generation IS 最高，达到 102.76。 f32c192 在极端压缩下仍达到 ImageNet PSNR 31.13 / SSIM 0.8785。与 LTX-2 或 LTX-Video 等 f32 baselines 相比，Qwen f32 variants 的 gFID 明显更低。这支持论文关于 semantic alignment 提升 diffusability 的论点。

5.2 OmniDoc-TokenBench quantitative results

Model	Setting	SSIM ↑	PSNR ↑	LPIPS ↓	FID ↓	NED ↑
FLUX.1-dev	f8c16	0.9364	26.24	0.0246	0.55	0.9546
HunyuanVideo	f8c16	0.9227	25.26	0.0434	2.03	0.9266
Qwen-Image	f8c16	0.8998	24.94	0.0519	4.48	0.9073
Cosmos-0.1-CI16x16	f16c16	0.5460	15.55	0.1349	7.78	0.1547
VAVAE	f16c32	0.6905	17.50	0.0974	4.45	0.3488
Stepvideo-T2V	f16c64	0.8970	23.69	0.0650	6.02	0.8838
FLUX.2-dev	f16c128	0.9544	27.72	0.0216	0.73	0.9535
Qwen-Image-VAE-2.0-f16c64	f16c64	0.9279	26.00	0.0382	1.94	0.9244
Qwen-Image-VAE-2.0-f16c128	f16c128	0.9706	30.45	0.0167	0.79	0.9617
DC-AE-sana	f32c32	0.5259	15.62	0.1441	7.26	0.0692
LTX-2	f32c128	0.7354	18.41	0.1192	9.94	0.3569
LTX-Video	f32c128	0.8055	20.92	0.1190	17.10	0.5651
Qwen-Image-VAE-2.0-f32c128	f32c128	0.8442	22.13	0.0642	3.36	0.7065
Qwen-Image-VAE-2.0-f32c192	f32c192	0.8908	23.84	0.0497	1.98	0.8555

f16c128 的 NED 为 0.9617。这高于 FLUX.1-dev f8c16 的 0.9546。也高于 FLUX.2-dev f16c128 的 0.9535。这说明 Qwen f16c128 在更高压缩下仍能保持非常强的文本可读性。 f32c192 的 NED 为 0.8555。虽然低于 f8 / f16 最强模型，但在 f32 组中明显领先。 f32 baselines 中 LTX-Video 为 0.5651，LTX-2 为 0.3569，DC-AE-sana 为 0.0692。这说明极端压缩下 text-rich reconstruction 的主要差距不是 pixel metric 小差异，而是字符是否崩溃。 f16c128 的 LPIPS 0.0167 也是表中非常强的结果。 f32c192 的 FID 1.98 远优于多数 f32 baselines。

5.3 Qualitative text reconstruction

> Figure omitted from public site because `fig3_group.svg` is 28.0 MiB and exceeds the Cloudflare Pages single-file limit; the original asset remains in the local Obsidian vault.

Figure 3 展示 text-rich reconstruction 的 qualitative comparison。在 f16 组，弱 baseline 出现 character blurring、stroke merging、inter-character ghosting。 Cosmos-0.1-CI16x16 接近 text collapse。 Qwen-Image-VAE-2.0-f16c128 保留更清晰的字符边界。它也保留更准确的字符间距。在 f32 组，竞争模型往往把文字压成碎片化噪声。 Qwen-Image-VAE-2.0-f32c192 仍能保留可区分的字符形状和 word boundaries。这与 Table 3 的 NED 差距一致。定性图的意义是补充 OCR metric：它直接展示 stroke 与 layout 是否可读。

5.4 Diffusability qualitative results

Figure 4 展示用 Qwen-Image-VAE-2.0 latent 训练的 SiT ImageNet samples。 f16 samples 在 256×256 下展示。 f32 samples 在 512×512 下展示。论文说明这些样本来自 further-trained SiT-XL with classifier-free guidance。定性图用于验证 latent space 的 semantic coherence 与 fine-grained detail。结合 Table 2，Qwen variants 在 no-CFG generation 上也表现强。这说明 semantic alignment 不是只提高重建指标，也有助于生成模型收敛。

5.5 Ablation interpretation

Figure 1 的 GSC ablation 是方法里最关键的消融。 NSC 缺少直接高频路径，downsampling 压力最大。 LSC 只能在局部层间缓解信息损失。 GSC 把输入像素直接折叠到深层 latent。因此 GSC 更像 information preservation shortcut。论文报告 f16c64 scratch training 中 GSC 收敛更快。这与最终 text-rich reconstruction 结果相互支撑。但论文没有公开 ablation 的完整数值表。所以笔记中只记录方向性结论，不编造额外数值。

5.6 What is most convincing

最有说服力的结果是 f16c128 同时在 ImageNet / FFHQ / OmniDoc 上强。它不是只在自然图像上提升。它在 OmniDoc 上 NED 0.9617，说明文本可读性也强。它在 Table 2 中 ImageNet PSNR 35.90、FFHQ PSNR 43.10，说明重建质量强。它在 generation without CFG 上也不弱，IS 92.42 / gFID 10.29。这三类证据共同支持“high compression + good reconstruction + diffusability”。

5.7 What remains less certain

训练细节不完整。没有公开 optimizer、LR、batch size、training steps 和 data ratio。没有公开 Qwen-Image-VAE-2.0 model architecture implementation。没有公开 training scripts。 Semantic alignment 的具体 DINOv2 middle layer index 未在公开代码中验证。 GSC 的 exact module implementation 只能从论文图和文字理解。因此复现难度较高。

5.8 Benchmark caveats

NED 依赖 OCR quality。 OCR 对原图也可能出错。论文用同一个 OCR model 处理原图和重建图，能抵消一部分系统误差。但 spacing、punctuation、OCR segmentation 仍可能影响 edit distance。论文明确使用 raw OCR outputs，不做 text normalization。这会让 minor spacing artifacts inflate edit distance。 OmniDoc-TokenBench 是 256×256 crop。它适合压测 text-rich patch reconstruction，但不完全等同于整页高分辨率文档理解。 NED 是 page-level string metric，不定位具体哪个字符或哪个区域坏掉。因此最好结合 qualitative crop 观察。

5.9 Code caveats

alibaba/OmniDoc-TokenBench 是 benchmark repo。它可以复现实验中的 evaluation pipeline。它不能复现 Qwen-Image-VAE-2.0 的训练。它也不能直接加载 Qwen-Image-VAE-2.0 权重。 example_recon.py 默认使用 FLUX.1-dev VAE 做示例。因此不要把公开 repo 误读为 paper method implementation。当前 note 的 github_ref 记录的是 benchmark code commit。 Method pseudocode 明确标注为 conceptual pseudocode，而非 released model code。

5.10 Practical takeaways

如果要设计高压缩 image tokenizer，不能只看 PSNR。需要同时看 text legibility、latent diffusability 和 downstream convergence。如果采用 $f 16$ / $f 32$ ，最好同时扩大 channel capacity。但 channel expansion 需要 semantic alignment 或其他 latent regularization 来保证 DiT 可学。对 text-heavy generation，训练数据必须显式覆盖真实与合成文本。对 benchmark，OCR-based NED 是 PSNR / SSIM 的必要补充。对复现，当前只能复现 OmniDoc-TokenBench evaluation，而不能复现 VAE training。

5.11 Final assessment

Qwen-Image-VAE-2.0 的贡献更像一个系统工程 recipe。它把 architecture、loss、data curriculum 和 benchmark 联动起来。论文最强结论是：高压缩 VAE 的失败不只是容量不足，也包括细节路径和 latent geometry 不对。 GSC 解决细节路径。 Expanded channels 解决容量。 DINOv2 middle-layer semantic alignment 解决 diffusability。 Text-rich real/synthetic data 解决文字场景覆盖。 OmniDoc-TokenBench 解决评估盲区。限制是公开材料不足以独立复现完整模型。如果未来 Qwen release model / training code，这篇笔记需要更新 github_ref 与 source-code mapping。

Paper Notes

探索

Qwen-Image-VAE-2.0 Technical Report

Qwen-Image-VAE-2.0 Technical Report

1. Motivation (研究动机)

1.1 一句话定位

1.2 为什么原来的 f8 latent 不够

1.3 为什么“增加 latent channels”也不是完整答案

1.4 为什么 text-rich reconstruction 是关键评测

1.5 这篇论文真正要证明什么

1.6 对读者的实用价值

2. Idea (核心思想)

2.1 总体思想

2.2 高压缩 VAE 的“信息账本”

2.3 GSC 的直觉

2.4 Semantic alignment 的直觉

2.5 数据策略的直觉

2.6 与 prior high-compression VAE 的差异

2.7 Figure 1 读图

3. Method (方法)

3.1 Overall framework

3.2 Model configurations

3.3 Global Skip Connection

3.4 Attention-free and asymmetric backbone

3.5 Loss design

3.6 Semantic alignment details

3.7 Multi-stage training strategy

3.8 Data collection

3.9 Data synthesis

3.10 OmniDoc-TokenBench construction

3.11 NED metric

3.12 Released code mapping

3.13 Public evaluation pseudocode

4. Experimental Setup (实验设置)

4.1 Evaluation questions

4.2 Public reconstruction benchmarks

4.3 Text-rich benchmark

4.4 Baselines

4.5 Downstream diffusability setup

4.6 Training details that are not disclosed

4.7 Code verification summary

5. Experimental Results and Caveats (实验结果与局限)

5.1 Public reconstruction and generation results

5.2 OmniDoc-TokenBench quantitative results

5.3 Qualitative text reconstruction

5.4 Diffusability qualitative results

5.5 Ablation interpretation

5.6 What is most convincing

5.7 What remains less certain

5.8 Benchmark caveats

5.9 Code caveats

5.10 Practical takeaways

5.11 Final assessment

目录

1.2 为什么原来的 $f 8$ latent 不够