Do Understanding and Generation Fight? A Diagnostic Study of DPO for Unified Multimodal Models

Paper: arXiv:2603.17044

1. Motivation（研究动机）

现有 unified multimodal model 的对齐困境

这篇论文研究的不是“如何再提出一个新的 unified multimodal model”，而是一个更诊断性的问题：像 Janus-Pro 这类模型用同一个 LLM backbone 同时服务 image understanding 与 image generation，如果用 DPO 做 preference alignment，这两个能力会不会互相拖累？这个问题重要，是因为 unified model 的卖点正是共享参数：理解路径看图回答问题，生成路径根据文本输出 VQ visual tokens，二者最终都要更新同一组 backbone 参数；如果偏好优化在共享参数上产生相互干扰，那么“统一”本身就会带来 alignment tax。

此前工作通常只在一个 modality 或一个方向上做 DPO：要么改善 multimodal understanding，要么改善 image generation。论文指出，尚未系统检查过“同一个 Janus-Pro backbone 上同时对齐理解和生成”会发生什么。直觉上，人们可能预期多任务 DPO 能让模型一边更懂图、一边更会画图；但如果两个任务的 gradient 方向冲突、或者尺度严重不匹配，多任务更新就可能被其中一个任务主导。

本文要解决的具体问题

论文把问题拆成三个可检验假设：第一，generation-only DPO 能否单独提升 Janus-Pro 的生成 CLIPScore；第二，understanding-only DPO 与 generation-only DPO 同时训练时，是否存在方向冲突或 magnitude imbalance；第三，常见的 multi-task 修正（PCGrad、GradNorm-style weighting、length-normalized weighting、Rewarded Soups、Separate LoRA）能否消除这种干扰。这里的目标不是追求 SOTA，而是用一组 controlled experiments 找出 DPO 在 VQ-based unified model 上失败或成功的机制。

这个问题值得研究的原因在于，如果 DPO 可以同时对齐两条路径，那么 unified model 可以用更少的参数和更一致的偏好信号同时服务理解与生成；如果失败，后续研究就应避免把 offline token-level DPO 直接套在 VQ autoregressive image generation 上，而要转向 online RL、continuous representation 或 task-specific adapters。

2. Idea（核心思想）

本文的核心 insight 是：understanding 与 generation 的主要问题不是“gradient 方向相反”，而是“gradient 近似正交但尺度极不平衡”。在 Janus-Pro 中，understanding response 通常只有约 $30$–$100$ 个 text tokens，而 generation 需要预测 $576=24\times 24$ 个 VQ tokens；generation DPO gradient 因 token count 被放大到 understanding gradient 的约 $11$–$14\times$，于是 naive joint DPO 的共享 backbone 更新几乎由 generation loss 决定。

关键创新在于把 multi-task DPO 当作一个诊断实验，而不是单纯调参：作者同时测量方向 cosine、magnitude ratio、per-layer cosine、training dynamics、KL divergence 与多种 generation metrics，最后发现 generation DPO 本身几乎学不动，loss 收敛到 $\ln 2$，说明 chosen/rejected VQ sequences 在 token-level log-probability margin 上几乎不可区分。

与 PCGrad 这类“冲突方向修正”方法不同，本文发现真实的 failure mode 是 magnitude imbalance 与 VQ tokenization bottleneck。PCGrad 只在 $\cos ({\mathbf{g}}_U,{\mathbf{g}}_G)<0$ 时投影冲突分量，但这里的 cosine 基本为 $0$，所以 PCGrad 没有什么可投影；更有效的诊断是用 $w_U\approx 0.93,w_G\approx 0.07$ 这类 magnitude/length balancing 保住 understanding signal，但它仍不能解决 generation DPO 的根本失效。

3. Method（方法）

3.1 Overall framework：Janus-Pro 的两条路径与共享参数

Figure 1 解读：Janus-Pro 的 understanding path 用 SigLIP encoder 把 input image 转成 visual tokens，再由 shared LLM backbone 生成 text response；generation path 则从 text prompt 出发，经同一个 shared LLM backbone 预测 $576$ 个 VQ tokens，再由 VQ-VAE decoder 还原图像。蓝色路径的输出长度约 $30$–$100$ tokens，橙色路径固定为 $24\times 24=576$ VQ tokens，因此在同一个 LoRA-augmented backbone 上做 DPO 时，generation gradient ${\mathbf{g}}_G$ 的范数天然远大于 understanding gradient ${\mathbf{g}}_U$。

模型使用 Janus-Pro-7B 与 Janus-Pro-1B。两者都共享 DeepSeek-LLM backbone，并使用 decoupled visual encoders：understanding 侧为 SigLIP-Large-Patch16-384，generation 侧为 VQ-VAE tokenizer，codebook size 为 $C=16,384$。实验只训练 LLM backbone 上的 LoRA adapters（rank $64$、$\alpha =128$、dropout $0.05$，目标模块为 $q,k,v,o,\text{gate},\text{up},\text{down}$），visual encoders 冻结，generation head 保持可训练。这样的设置把干扰定位到 shared backbone，而不是视觉编码器本身。

3.2 DPO objective：分别定义理解与生成偏好

标准 DPO 使用 preference triples $\mathcal{D}=\{(x^{(i)},y_w^{(i)},y_l^{(i)}){\}}_{i=1}^N$，其中 $y_w$ 是 preferred output，$y_l$ 是 rejected output： ${\mathcal{L}}_{\text{DPO}}(\theta )=-{\mathbb{E}}_{(x,y_w,y_l)\sim \mathcal{D}}\left[\log \sigma \left(\beta {\Delta }_{\theta }(x,y_w,y_l)\right)\right]$ $ \Delta_\theta(x,y_w,y_l) = \log\frac{{\pi_\theta(y_w\mid x)}}{{\pi_{{\text{{ref}}}}(y_w\mid x)}}

• \log\frac{{\pi_\theta(y_l\mid x)}}{{\pi_{{\text{{ref}}}}(y_l\mid x)}}. $对于understanding，输入$x=(\boldsymbol I,q)$是image-questionpair，输出$y=(y_1,\ldots,y_T)$是textresponse：$ \log\pi_\theta(y\mid\boldsymbol I,q) =\sum_{{t=1}}^T \log p_\theta(y_t\mid y_{{<t}},\boldsymbol I,q). $对于generation，输入$x$是textprompt，输出$y=(v_1,\ldots,v_N)$是VQtokensequence：$ \log\pi_\theta(y\mid x) =\sum_{{t=1}}^N \log p_\theta(v_t\mid v_{{<t}},x),\quad N=576. $这种形式解释了后文的结构性瓶颈：DPO的implicitreward是由tokenlog-probabilitymargin累加得到的，但imagequality是$576$个VQtokens全局组合后的性质。若每个token上preferred与rejected的margin都接近$0$，整体loss就会停在$\ln 2$，即“模型分不出 chosen/rejected”。

3.3 Multi-task DPO 与 gradient diagnostics

多任务 DPO 的 naive 写法是： $ \mathcal L_{{\text{{joint}}}}(\theta) = \alpha\mathcal L_{{\text{{DPO}}}}^U(\theta)

• (1-\alpha)\mathcal L_{{\text{{DPO}}}}^G(\theta), $其中$U$表示understanding，$G$表示generation。论文把sharedparameters定义为$\theta_S$，即LLMbackbone的LoRAadapters；generationhead被排除在干扰分析之外，因为它不参与两个任务共享参数的竞争。对应梯度为：$ \boldsymbol g_U = \nabla_{{\theta_S}}\mathcal L_{{\text{{DPO}}}}^U,\quad \boldsymbol g_G = \nabla_{{\theta_S}}\mathcal L_{{\text{{DPO}}}}^G. $作者同时看两个轴：方向对齐与范数比例。方向用cosine：$ \cos(\boldsymbol g_U,\boldsymbol g_G) =\frac{{\boldsymbol g_U\cdot\boldsymbol g_G}}{{|\boldsymbol g_U|,|\boldsymbol g_G|}}, $尺度用：$ \rho=\frac{{|\boldsymbol g_U|}}{{|\boldsymbol g_G|}}. $当$\cos\approx0$且$\rho\ll1$时，联合梯度几乎沿着$\boldsymbol g_G$：$ \frac{{|\boldsymbol g_U+\boldsymbol g_G|-|\boldsymbol g_G|}}{{|\boldsymbol g_G|}} \approx \frac12\rho^2. $这说明understanding的影响是二次小量；例如$\rho=0.1$时，联合梯度方向只会偏离generationgradient约$\arctan(0.1)\approx5.7^\circ$。

Figure 2 解读：左图显示 Janus-Pro-7B 上 $200$ 个 mini-batches 的 inter-task cosine 分布，均值为 $-0.0001\pm 0.0029$，$47.5\%$ batches 为负，几乎就是高维正交向量的行为；右图显示 $\rho =\Vert {\mathbf{g}}_U\Vert /\Vert {\mathbf{g}}_G\Vert$ 的均值只有 $0.073$，也就是 generation gradient 约为 understanding gradient 的 $14\times$。因此，主导干扰的不是“理解和生成朝相反方向推”，而是“生成的步子太大，把理解信号淹没”。

3.4 Magnitude-balanced DPO

基于上述诊断，作者测试三类 magnitude correction。动态版本仿照 GradNorm，每隔 $K=50$ steps 重新估计 task gradient norm，并设置： $w_U=\frac{\Vert {\mathbf{g}}_G\Vert }{\Vert {\mathbf{g}}_U\Vert +\Vert {\mathbf{g}}_G\Vert },w_G=\frac{\Vert {\mathbf{g}}_U\Vert }{\Vert {\mathbf{g}}_U\Vert +\Vert {\mathbf{g}}_G\Vert }.$ 于是： $w_U\Vert {\mathbf{g}}_U\Vert =w_G\Vert {\mathbf{g}}_G\Vert =\frac{\Vert {\mathbf{g}}_U\Vert \cdot \Vert {\mathbf{g}}_G\Vert }{\Vert {\mathbf{g}}_U\Vert +\Vert {\mathbf{g}}_G\Vert }.$ balanced loss 为： ${\mathcal{L}}_{\text{balanced}}=w_U{\mathcal{L}}_{\text{DPO}}^U+w_G{\mathcal{L}}_{\text{DPO}}^G.$ 当 $\Vert {\mathbf{g}}_G\Vert \gg \Vert {\mathbf{g}}_U\Vert$ 时，$w_U\to 1$、$w_G\to 0$，直观上是在放大被淹没的 understanding signal。论文还测试了两个静态近似：length-normalized 使用 $w_U=N/(N+T)\approx 0.92,w_G\approx 0.08$；fixed-weight 使用训练中动态权重收敛到的 $w_U=0.93,w_G=0.07$。

Figure 3 解读：训练过程验证了 magnitude imbalance 不是初始化时的偶然现象。top-left 的 cosine 在 $1,000$ steps 中持续围绕 $0$ 波动；bottom-left 的动态权重在 step $50$ 从 $w_U=0.5$ 跳到约 $0.80$，到 step $200$ 接近 $0.93$ 并稳定；top-right 的 task-specific DPO losses 显示 generation loss 方差更高，和 discrete VQ token similarity 有关；bottom-right 是 combined loss。这解释了为什么 length-normalized 与 fixed-weight 能接近动态加权：它们都近似补偿了 $576$ vs. $30$–$100$ tokens 的长度差。

3.5 Diagnostic baseline suite

论文比较的训练策略与 post-hoc 方法如下：

类型	方法	诊断假设
Single-task DPO	Understanding-only / Generation-only	单独看每个任务能否被 DPO 对齐，以及是否存在 single-task alignment tax
Multi-task DPO	Naive Joint, $\alpha =0.5$	如果两个 loss 同等加权，观察哪个任务主导共享参数
Conflict-resolution	PCGrad	若问题是 negative cosine，则投影冲突梯度应有效
Magnitude balancing	Grad-Weighted, Length-Normalized, Fixed-Weight	若问题是范数不平衡，则重新加权应保住弱梯度任务
Post-hoc	Rewarded Soups	分别训练两个 LoRA，再用 $\lambda \in \{0.3,0.5,0.7\}$ 插值
Oracle	Separate LoRA	非部署友好的上界：理解用 understanding LoRA，生成用 generation LoRA

3.6 论文级伪代码（未找到 released code）

代码搜索未找到开源实现；以下伪代码是根据论文公式、实验设置与附录抽象出的论文级流程，不是 released code 的逐行映射。

import torch
import torch.nn.functional as F
 
 
def dpo_loss(policy_logp_w, policy_logp_l, ref_logp_w, ref_logp_l, beta=0.1):
    delta = (policy_logp_w - ref_logp_w) - (policy_logp_l - ref_logp_l)
    return -F.logsigmoid(beta * delta).mean()

def multitask_dpo_loss(loss_u, loss_g, alpha=0.5):
    return alpha * loss_u + (1.0 - alpha) * loss_g

def gradient_diagnostics(loss_u, loss_g, shared_lora_params):
    gu = torch.autograd.grad(loss_u, shared_lora_params, retain_graph=True)
    gg = torch.autograd.grad(loss_g, shared_lora_params, retain_graph=True)
    gu = torch.cat([g.flatten() for g in gu if g is not None])
    gg = torch.cat([g.flatten() for g in gg if g is not None])
    cosine = F.cosine_similarity(gu, gg, dim=0)
    rho = gu.norm() / (gg.norm() + 1e-12)
    return cosine.item(), rho.item()

def grad_weighted_balanced_loss(loss_u, loss_g, norm_u, norm_g):
    wu = norm_g / (norm_u + norm_g + 1e-12)
    wg = norm_u / (norm_u + norm_g + 1e-12)
    return wu * loss_u + wg * loss_g, wu, wg

def pcgrad_merge(gu, gg):
    # Paper uses PCGrad as a diagnostic baseline: only negative cosine is projected.
    dot = torch.dot(gu, gg)
    if dot < 0:
        gu = gu - dot / (gg.norm() ** 2 + 1e-12) * gg
        gg = gg - dot / (gu.norm() ** 2 + 1e-12) * gu
    return gu + gg

3.7 Code-to-paper mapping

代码搜索未找到开源实现。检索范围包括 arXiv abstract/PDF/source 中的 URL、GitHub repo/code search、题名与 arXiv ID 搜索，以及作者/Janus-Pro/DPO 关键词搜索；只找到论文页面、第三方论文索引与 Janus/UnifiedReward 等非本文实现。因此本文没有可锚定的 github_ref，也无法验证 released code 与论文公式是否存在差异。

Paper Concept	Source File	Key Class/Function
DPO objective for understanding/generation	代码搜索未找到开源实现	论文 §3.1 公式；上方为论文级伪代码
Gradient cosine and magnitude ratio diagnostics	代码搜索未找到开源实现	论文 §3.2 / §4.2；上方为论文级伪代码
Grad-Weighted / Length-Normalized / Fixed-Weight balancing	代码搜索未找到开源实现	论文 §3.3 / §4.3；上方为论文级伪代码
PCGrad / Rewarded Soups / Separate LoRA baselines	代码搜索未找到开源实现	论文 §3.4；未提供 released implementation

论文公式与 released code 实现差异：代码搜索未找到开源实现，因此没有 released code 可比对；笔记中的公式与伪代码均以论文正文和附录为准。

4. Experimental Setup（实验设置）

4.1 Datasets 与 preference construction

• Base data：COCO val2017。
• Understanding preferences：$1,300$ pairs。作者为 COCO val2017 images 构造 diverse VQA questions，覆盖 object identification、counting、spatial relationships、attributes、scene description。每个 image-question pair 用 Janus-Pro-7B 在不同 prompt formulations / temperature 下生成两个 responses，再按与 COCO ground-truth captions 的 entity overlap 打分；得分 margin 小于 $0.5$ 的 pair 被过滤。
• Generation preferences：$288$ real-vs-generated pairs。从约 $400$ 个 COCO captions 出发，用 caption 作为 prompt，让 Janus-Pro-7B 生成图像；chosen image 是真实 COCO photograph，rejected image 是模型生成图像，并用 CLIP-ViT-B/32 验证真实图像 text-image similarity 更高。过滤后留下 $288$ valid pairs。
• Distribution-gap ablation：作者额外构造 model-vs-model generation pairs（$150$ / $153$ pairs），用于排除“真实图 vs 生成图”分布差异导致 DPO 失败的解释。

4.2 Baselines 与 metrics

维度	指标	说明
Understanding	VQA content overlap	$n=200$ per seed，$0$–$6$ 分，按回答中正确提到的 COCO caption entities 计分，并惩罚 degenerate short outputs
Generation	CLIPScore	CLIP-ViT-L/14，$n=200$ generated images，temperature $0.1$ near-deterministic decoding；数据构造用 ViT-B/32，避免 circular evaluation
Hallucination	POPE-style accuracy/F1	约 $80$ valid yes/no responses per condition；F1 在所有条件下为 $0.0$，因为 Janus-Pro 系统性回答 “no”
Supplementary generation	FID / PickScore / LPIPS diversity	FID 对比 $200$ generated images 与 $200$ random COCO validation photographs；PickScore 用 PickScore-v1；LPIPS diversity 在 $50$ images 中采样 $200$ pairs
Supplementary understanding	VQAv2 accuracy	VQAv2 validation $500$ questions，standard soft-accuracy

4.3 Training config

• LoRA：rank $r=64$，$\alpha =128$，dropout $0.05$；target modules 为 $q,k,v,o,\text{gate},\text{up},\text{down}$。
• Optimizer：AdamW，learning rate $1\times 10^{-6}$，cosine LR schedule，weight decay $0.01$，gradient clip norm $1.0$。
• DPO：$1,000$ training steps，batch size $1$；DPO temperature $\beta =0.1$ default；dynamic weights 每 $K=50$ steps 重算。
• Model / hardware：Janus-Pro-7B 使用 DeepSeek-LLM-7B backbone，在 $1\times$ NVIDIA H100 80GB 上训练；Janus-Pro-1B 使用 DeepSeek-LLM-1.3B backbone，在 $1\times$ NVIDIA A100 40GB 上训练。
• 为什么 batch size 是 1：论文说明这是为了 per-sample gradient analysis；generation 的 $576$-token sequences 也限制了更大 batch。

5. Experimental Results（实验结果）

5.1 Main results：generation 几乎无法被 DPO 改善

Method	7B VQA (Δ)	7B CLIPScore (Δ)	1B VQA (Δ)	1B CLIPScore (Δ)
Base Model	2.490	26.870	2.565	25.099
Understanding-only	2.753±0.04 (+0.26)	26.819±0.03 (−0.05)	2.945±0.04 (+0.38)	24.851±0.05 (−0.25)
Generation-only	2.498±0.02 (+0.01)	26.741±0.04 (−0.13)	2.556±0.02 (−0.01)	24.130±0.05 (−0.97)
Naive Joint ($\alpha =0.5$)	2.485±0.02 (−0.01)	26.928±0.04 (+0.06)	2.713±0.03 (+0.15)	24.643±0.05 (−0.46)
PCGrad	2.508±0.02 (+0.02)	26.716±0.04 (−0.15)	2.698±0.03 (+0.13)	24.618±0.05 (−0.48)
Grad-Weighted	2.504±0.02 (+0.01)	27.021±0.04 (+0.15)	2.748±0.03 (+0.18)	24.390±0.05 (−0.71)
Length-Normalized	2.532±0.02 (+0.04)	26.691±0.04 (−0.18)	2.738±0.03 (+0.17)	24.410±0.05 (−0.69)
Fixed-Weight ($\alpha =0.93$)	2.523±0.02 (+0.03)	26.739±0.03 (−0.13)	2.725±0.03 (+0.16)	24.445±0.05 (−0.65)
Rewarded Soups ($\lambda =0.5$)	2.481±0.02 (−0.01)	26.128±0.04*	2.597±0.02 (+0.03)	24.621±0.05*
Separate LoRA	2.753±0.04 (+0.26)	26.741±0.04 (−0.13)	2.945±0.04 (+0.38)	24.130±0.05 (−0.97)

* 表示 Rewarded Soups 的 CLIPScore 用 stochastic generation（$n=50$，temperature $1.0$），不应直接和 deterministic decoding baselines 比较。

最重要的结果是负面的：Janus-Pro-7B 上没有任何方法显著提升 generation CLIPScore，所有 generation delta 的 effect size 都很小，论文给出 all $|t|<0.7,p>0.5$；1B 上更严重，所有方法都降低 generation，降幅从 $-0.25$ 到 $-0.97$。Understanding-only DPO 是唯一清楚有效的单任务改进：7B VQA 从 $2.490$ 到 $2.753$，$\Delta =+0.263$，Welch’s $t=2.85,p=0.005$，但该显著性不通过 9 methods $\times$ 3 metrics 的 Bonferroni threshold。

5.2 Gradient evidence：正交 + 尺度不平衡

Figure 4 解读：per-layer analysis 覆盖 Janus-Pro-7B 的 $30$ 个 transformer layers。lora_A 的 cosine 因 LoRA 初始化（$B=0,A\sim$ Kaiming uniform）在早期近似为 $0$；有意义的梯度主要流过 lora_B，而 lora_B 各层 cosine 也只在 $-0.01$ 到 $+0.01$ 之间波动，没有系统性正/负冲突。这支持“不是某几层强冲突，而是全层面近似正交”的解释。

Null-hypothesis calibration 进一步说明 inter-task cosine 不是噪声测量失败：Janus-Pro-7B 上 inter-task ${\mathbf{g}}_U$ vs. ${\mathbf{g}}_G$ 的 mean/std/n 为 $-0.0001/0.0029/200$；intra-understanding 为 $+0.0405/0.0609/199$，intra-generation 为 $+0.0063/0.0333/199$。Welch tests 显示 intra-task cosines 显著高于 inter-task value（$t=9.37,p<10^{-17}$；$t=2.72,p=0.007$），说明同一任务内部确实有 coherent subspace，而理解与生成之间接近结构性正交。

Magnitude ratio 更关键：7B 的 $\rho =0.073$（std $0.038$），对应 generation gradient 约 $14\times$ 大；1B 的 $\rho =0.093$（std $0.048$），对应约 $11\times$ 大。论文把这个归因于 VQ token count asymmetry：generation 固定 $576$ tokens，understanding response 只有约 $30$–$100$ tokens。

5.3 Training dynamics 与 Pareto frontier

Figure 5 解读：Pareto frontier 把方法放在 VQA vs. CLIPScore 平面上。所有方法在 CLIPScore 方向都挤在窄区间内，只有 understanding 轴发生明显移动；Separate LoRA 作为 oracle 能把 understanding-only 的 VQA 改进保留下来，但 generation 仍没有提升。这说明本文不是找到一个“trade-off frontier 上的更好点”，而是发现 generation 维度几乎不可移动。

Training loss 也支持同一结论。最终 DPO loss 为：Understanding-only $0.219$（强收敛），Generation-only $0.691\approx \ln 2$，Naive Joint $0.693\approx \ln 2$，Grad-Weighted $0.652$，PCGrad $0.689\approx \ln 2$，Length-Normalized $0.579$，Fixed-Weight $0.578$。更低的 combined loss 没有转化为 CLIPScore 提升，说明 generation loss landscape 与 VQ-based image quality preference 不一致。

5.4 Ablations：不是数据构造、β、LoRA 容量能轻易解释

• β sensitivity：Grad-Weighted 在 $\beta \in \{0.05,0.10,0.20,0.50\}$ 下的 VQA/CLIPScore/POPE 分别为：$0.05$ → $2.501$ / $26.793$ / $0.596$；$0.10$ → $2.504$ / $27.021$ / $0.656$；$0.20$ → $2.475$ / $26.679$ / $0.618$；$0.50$ → $2.478$ / $26.843$ / $0.577$。CLIPScore 差异都在噪声范围内，$\beta =0.1$ 的 VQA 最高但仍只是 $+0.01$。
• Extended generation metrics：Base / Und-only / Gen-only / Grad-Weighted 的 FID 分别为 $157.6/158.0/159.7/158.2$，PickScore 为 $22.00/21.99/21.94/22.04$，LPIPS diversity 为 $0.699/0.705/0.700/0.700$。这些指标共同说明生成质量与多样性几乎不变。
• VQAv2：Base $0.827$，Und-only $0.834$，Gen-only $0.831$，Naive Joint $0.827$，PCGrad $0.829$，Grad-Weighted $0.825$，Length-Norm $0.828$，Fixed-Weight $0.827$。标准 VQA accuracy 只显示小幅趋势，主文的 content-overlap VQA 对详细回答更敏感。
• Model-vs-model / data scaling：real-vs-generated $288$ pairs 的 generation-only CLIPScore 为 $26.74$（$\Delta =-0.13$）；model-vs-model $153$ pairs 为 $26.71$（$\Delta =-0.16$）；MvM $150$ pairs 为 $26.73$（$\Delta =-0.14$）。这排除了“真实图 vs 生成图分布差异”作为唯一原因，也说明 $150$–$288$ pairs 范围内增加数据不能改变 null result。
• KL divergence：Understanding-only DPO 在 step $1,000$ 的 $\text{KL}({\pi }_{\theta }\Vert {\pi }_{\text{ref}})$ 为 $3.84\pm 1.92$ nats/sequence（$0.068$ nats/token，平均 $\sim 56$ tokens），Generation-only 只有 $0.041\pm 0.023$ nats/sequence（$7.1\times 10^{-5}$ nats/token，$576$ tokens）。这表明 LoRA 有能力移动 policy，但 generation preference signal 太弱，导致 adapter 几乎不动。

5.5 Length confound 与 understanding 改进的含义

作者担心 VQA content-overlap 改进只是回答变长带来的，于是做 length-free evaluation。Base model 的 standard VQA / length-free VQA / avg words 为 $2.490/1.932/53.7$；Und-only DPO 为 $2.753/2.086/63.1$。也就是说 $+0.26$ standard VQA 中，约 $+0.15$ 是 length-free content quality，约 $+9.4$ words 解释剩余部分。论文报告 cross-method length-VQA correlation 为 $r=0.97$，Und-only 内部 response length 与 score 的 Pearson $r=0.50$，说明长度与信息量纠缠，但不是全部收益。

5.6 作者结论与局限

论文的 practical recommendations 很直接：第一，如果只想改善 Janus-Pro 的 understanding，understanding-only DPO 相对安全，7B 上 VQA $+0.26$ 且 CLIPScore 只变 $-0.05$；第二，如果必须 multi-task，可用解析权重 $w_U=N/(N+T)\approx 0.92$ 保护 understanding signal；第三，对 VQ-based autoregressive generation，offline DPO 不足以改善生成，online RL 或 continuous-representation architectures 更有希望。

局限也很重要：本文只研究 Janus-Pro family，Chameleon、BLIP3-o 等架构是否同样如此仍需验证；LoRA rank 固定为 $64$，full fine-tuning 或更高 rank 可能改变 gradient dynamics；generation DPO loss 收敛到 $\ln 2$ 暗示即使 $>10K$ pairs 也可能受 per-token indistinguishability 限制，但这尚未实证；本文只测试 DPO，IPO、KTO 等 offline preference methods 可能有不同 loss landscape；gradient analysis 使用 batch size $1$；generation 证据主要由 CLIPScore、FID、PickScore、LPIPS corroborate，仍缺 human evaluation。