DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models

Paper: arXiv:2605.15055v1 Code: No public code found; the project page currently labels code as “Coming Soon” and links to the GitHub homepage. Code reference: N/A — no public repository/ref available at verification time (2026-05-19). Project: DiffusionOPD project page

TL;DR

这篇论文把 LLM 里的 On-Policy Distillation (OPD) 搬到 diffusion denoising trajectory 上。 核心不是直接做 multi-reward RL，而是先训练多个单任务 teacher，再沿 student 自己 rollout 的状态蒸馏这些 teacher。 理论上，它把 denoising 过程写成连续状态 Markov chain，并得到 same-covariance Gaussian transition 的闭式 reverse-KL。 实验上，它在 GenEval、OCR、美学/偏好类指标之间取得更均衡的 multi-task alignment。 论文目前没有公开代码；可复现实作需要等作者 release 或自行按 Algorithm 1 实现。

Reading Map

§1 Motivation：为什么 multi-task diffusion RL 直接联合训练会冲突。 §2 Idea：DiffusionOPD 的 teacher-first、student-on-policy 蒸馏视角。 §3 Method：从 LLM OPD 到 diffusion Markov chain、闭式 KL、ODE/SDE 统一。 §4 Experimental Setup：base model、reward、teacher 训练算法、baseline。 §5 Experimental Results：主表、曲线、qualitative、ablation。 §6 Code Search & Reproducibility：代码状态与可复现风险。

1. Motivation (研究动机)

1.1 单任务 diffusion RL 的收益与边界

近年的 diffusion alignment 方法已经证明，RL 可以显著提升某个单一 reward。 典型目标包括 aesthetic quality、OCR/text rendering、prompt compositionality、preference score。 但这些 reward 往往是异质的。 一个模型只优化 GenEval 时，可能更擅长对象组合。 一个模型只优化 OCR 时，可能更擅长图中文字。 一个模型只优化 aesthetic/preference 时，可能更擅长视觉美感。 用户真实需求通常不是单项能力。 文生图模型需要同时满足 object correctness、文字准确性、整体美学与偏好分数。 因此论文把问题定义为：如何把多个 task-specific RL gains 合并到一个统一 diffusion student 中。

1.2 直接 multi-task RL 的问题

直接联合 reward 训练看起来简单。 做法是把多个任务的数据/奖励放在同一个 RL curriculum 里交替优化。 但 heterogeneous rewards 会带来 cross-task interference。 一个任务的梯度可能损害另一个任务的行为。 reward scale 和 learning dynamics 也不一致。 OCR 和 aesthetic 的目标并不天然对齐。 GenEval 的 rule-based reward 又和 model-based preference metrics 的统计性质不同。 如果把所有 reward 从头联合优化，student 同时承担 exploration 和 integration 两个难题。 论文认为这是 multi-task RL 收敛慢、上限低的重要原因。

1.3 Cascade RL 的问题

Cascade RL 避免了某些联合优化冲突。 它按阶段顺序训练：先学一个任务，再继续学下一个任务。 但 cascade 的训练过程繁琐。 每个阶段都要依赖前一阶段 checkpoint。 后续任务容易覆盖早期能力。 这就是 catastrophic forgetting。 如果任务数增加，cascade 的成本也线性变大。 论文主表中 Cascade NFT 的 wall-clock time 最高，反映出这个路线的低效。

1.4 OPD 为什么适合这个问题

OPD 的关键是让 student 在自己会访问的状态上接受 teacher 监督。 这不同于 offline imitation。 Offline imitation 可能只模仿 teacher 自己生成的数据分布。 On-policy distillation 则在 student distribution 下对齐 teacher。 对 diffusion 来说，student 的状态不是 token prefix，而是一条 denoising trajectory。 如果每个 teacher 都已经专精一个 reward，student 只需要在自己的 denoising states 上问对应 teacher 下一步应该怎么走。 这样把“单任务探索”交给 teacher，把“多任务整合”交给 OPD。 这也是论文的核心动机。

Figure 1 解读：图的左半展示 DiffusionOPD 相比 multi-task RL baselines 更快收敛且上限更高；右半强调它不是只在单个 reward 上取巧，而是在 GenEval、OCR、aesthetics 等方向上获得更均衡的提升。

1.5 论文问题定义

输入是一组任务 $\mathcal{M}=\{1,\dots ,M\}$。 每个任务有自己的 prompt/data distribution ${\mathcal{C}}^{(m)}$。 每个任务有自己的 reward 或 evaluation metric。 目标是训练一个 unified diffusion student $v_{\theta }$。 这个 student 应该继承多个 specialized teachers 的能力。 同时它不应该在整合过程中重新遭遇 multi-task RL 的强干扰。 论文选择了两阶段范式。 Stage 1：独立训练 task-specific teachers。 Stage 2：用 on-policy distillation 把 teacher 能力合入一个 student。

1.6 贡献定位

贡献一：提出 DiffusionOPD，作为 multi-task diffusion RL 的 teacher-student training paradigm。 贡献二：把 OPD 从 autoregressive token transition 推广到 continuous-state Markov process。 贡献三：对 diffusion SDE/ODE transition 给出统一的 mean-matching 目标。 贡献四：说明闭式 KL 与 PPO-style policy gradient 在期望上等价，但闭式 KL 方差更低。 贡献五：在 SD3.5-Medium 512×512 的实验设置下优于 multi-task GRPO-Guard、multi-task NFT、Cascade NFT 等 baseline。

2. Idea (核心思想)

2.1 从“联合优化多个 reward”改成“先专精再整合”

DiffusionOPD 不把多个 reward 直接混在一个 RL objective 里。 它先把每个 task 单独训练到较高水平。 对每个任务 $m$，训练一个 frozen teacher $v_{{\varphi }_m}^{(m)}$。 这些 teachers 可以使用最适合该 reward 的现成 diffusion RL algorithm。 例如 GenEval 适合 DiffusionNFT。 OCR 与 Aesthetics 在论文实验中更适合 GRPO-Guard。 然后统一 student $v_{\theta }$ 不再直接对 reward 做 RL。 Student 使用自己的 rollout states。 每个 rollout state 由对应 task teacher 给出 transition-level supervision。

2.2 On-policy 的含义

“On-policy” 指监督发生在 student 自己访问的 trajectory 上。 对 LLM，trajectory 是 student 生成的 token sequence。 对 diffusion，trajectory 是 student 从 noise 到 image 的 denoising chain。 Teacher 不要求 student 完全复现 teacher 的 sample distribution。 Teacher 只在 student 当前 state $x_{t_j}$ 上告诉它下一步 transition mean 应该靠近哪里。 这减少了 distribution mismatch。 如果 student 偏离 teacher 的常见轨迹，teacher supervision 仍然作用于 student 实际访问的位置。

2.3 为什么不是 SFT

SFT 可以让 teacher 生成图像，再训练 student 模仿这些 samples。 但 SFT 的监督来自 teacher rollout distribution。 Student 一旦进入自己的 off-manifold state，SFT 未必提供合适的 correction。 DiffusionOPD 则在 student rollout 上计算 teacher transition。 因此它更接近 interactive imitation / dataset aggregation 的精神。 这也是它在 distillation ablation 中优于 SFT 的关键解释。

2.4 为什么不是 DMD/TDM 的简单替代

论文并不把 DiffusionOPD 仅仅定义成一个 reverse-KL loss。 它把 DiffusionOPD 定义成一个 on-policy distillation framework。 闭式 reverse-KL 是其中最重要的具体实例。 在同一个框架内，student on-policy rollouts 也可以接 DMD、TDM、SFT 等 objective。 实验显示，在相同 teachers 和 alternating datasets 下，闭式 KL 版本收敛最快且最终上限最高。 因此贡献既包含 framework，也包含对 diffusion transition KL 的具体解析化。

2.5 一个简化直觉

把 denoising step 看成“动作”。 当前 latent/state 是 $x_{t_j}$。 Student 的动作是它预测的 transition mean ${\mu }_S(x_{t_j};\theta )$。 Teacher 的动作是 ${\mu }_T(x_{t_j})$。 如果两者的 Gaussian transition covariance 相同，KL 就只剩 mean distance。 所以 student 训练目标变成：沿 student 自己 rollout 的每一步，让 transition mean 靠近对应 teacher。 这比把 teacher 当 dense reward 再做 PPO 更直接。

2.6 Multi-teacher 整合的关键约束

每一轮训练要覆盖所有任务。 每个任务只使用它对应的 teacher。 Loss 在 round-robin cycle 内累积。 所有任务都访问一次后再做一个 optimizer step。 这使每次参数更新都反映完整 task set，而不是被某个最近 batch 偏置。 论文把 gradient accumulation factor 设为 $G=M$。 即每个任务一个 accumulation step。

3. Method (方法)

3.1 LLM OPD 的原型

LLM OPD 中，student policy 是 ${\pi }_{\theta }$。 Teacher policy 是 frozen ${\pi }^{\star }$。 Student 先从自己的 policy 生成完整序列。 然后在 student 访问过的每个 prefix 上，让 student distribution 接近 teacher distribution。 这可以写成 student-generated trajectories 下的 reverse-KL。 关键不是 teacher-forcing 的静态数据。 关键是 student 自己造成的 state distribution。

3.2 推广到 Markov chain

Diffusion denoising 可以被写成 discrete-time Markov chain。 轨迹为 $x_{t_0},x_{t_1},\dots ,x_{t_N}$。 Student 和 teacher 共享 state space。 两者在每个 state 上都有 one-step transition kernel。 Student transition 为 $p_S(\cdot \mid x_{t_j})$。 Teacher transition 为 $p_T(\cdot \mid x_{t_j})$。 OPD 目标变成： ${\mathcal{L}}_{\text{OPD}}(\theta )={\mathbb{E}}_{x_{0:N}\sim p_S}\left[{\sum }_{j=0}^{N-1}\mathrm{KL}\left(p_S(\cdot \mid x_{t_j})\Vert p_T(\cdot \mid x_{t_j})\right)\right].$ 这里期望的外层分布来自 student。 内层 KL 对齐的是同一个 student state 上的 teacher transition。 这就是从 token prefix 到 diffusion state transition 的抽象提升。

3.3 Diffusion transition 的 Gaussian 结构

对 reverse-time SDE discretization，单步 transition 可以写成 Gaussian。 Student transition 近似为 $\mathcal{N}({\mu }_S(x_{t_j};\theta ),{\sigma }_j^{2}I)$。 Teacher transition 近似为 $\mathcal{N}({\mu }_T(x_{t_j}),{\sigma }_j^{2}I)$。 关键条件是 covariance 由 scheduler 和 step 决定。 因此 student 与 teacher 在同一 denoising step 共享 covariance。 对 same-covariance Gaussian，KL 有闭式形式： $\mathrm{KL}(\mathcal{N}({\mu }_1,{\sigma }_j^{2}I)\Vert \mathcal{N}({\mu }_2,{\sigma }_j^{2}I))=\frac{\Vert {\mu }_1-{\mu }_2{\Vert }_2^2}{2{\sigma }_j^2}.$ 这把 probabilistic transition matching 简化成 weighted mean matching。 噪声越小，mean mismatch 的权重越大。 噪声越大，同样的 mean mismatch 惩罚越弱。

3.4 DiffusionOPD 的 SDE loss

把上面的 KL 代入 Markov-chain OPD objective，可得 diffusion-domain objective： ${\mathcal{L}}_{\text{OPD}}^{\text{diffusion}}(\theta )={\mathbb{E}}_{x_{0:N}\sim p_{S,\theta }}\left[{\sum }_{j=0}^{N-1}\frac{\Vert {\mu }_S(x_{t_j};\theta )-{\mu }_T(x_{t_j}){\Vert }_2^2}{2{\sigma }_j^2}\right].$ 注意轨迹仍然由 student $p_{S,\theta }$ 采样。 Teacher 只在这些 student states 上提供 ${\mu }_T$。 这使训练信号和 student 当前行为对齐。 Loss 是可直接反传的 analytic objective。 不需要把 teacher KL 再包装成 reward。

3.5 ODE sampler 的特例

当 sampler 是 deterministic ODE 时，transition 不再有随机 covariance。 每个 state 的 next-state target 是确定点。 Distribution matching 退化为 pointwise transition matching。 论文给出的 ODE objective 是： ${\mathcal{L}}_{\text{OPD}}^{\text{diffusion-ODE}}(\theta )={\mathbb{E}}_{x_{0:N}\sim p_{S,\theta }}\left[{\sum }_{j=0}^{N-1}\frac{1}{2}\Vert {\mu }_S(x_{t_j};\theta )-{\mu }_T(x_{t_j}){\Vert }_2^2\right].$ 这说明 SDE 和 ODE 不是两个完全不同的训练原则。 它们都是在 student on-policy denoising states 上做 teacher transition matching。 区别只是 stochastic transition 的 KL 权重中出现 ${\sigma }_j^2$。 当 noise level 为 0 时，SDE sampler 退化为 ODE sampler。

3.6 闭式 KL 与 PPO-style policy gradient

一个自然 baseline 是把 per-step KL 当 dense reward。 然后使用 PPO-style policy gradient 来优化 student。 论文指出这种做法在期望上与 direct KL minimization 对齐。 但每步 gradient 会多出 score-function term。 论文写出的分解是： ${\nabla }_{\theta }({\rho }_j(\theta ){\Delta }_j(\theta ))=\underset{\text{pathwise term}}{\underbrace{{\nabla }_{\theta }{\Delta }_j(\theta )}}+\underset{\text{score-function term}}{\underbrace{{\Delta }_j(\theta ){\nabla }_{\theta }\log {\pi }_{\theta }(a_j\mid x_{t_j})}}.$ 第一项是 pathwise gradient。 它直接来自 analytic KL / mean distance。 第二项是 score-function estimator。 在 Gaussian transition 下，这一项与采样噪声 ${ϵ}_j$ 相关。 它在期望上无偏。 但它会增加 gradient variance。 因此闭式 KL 更优的原因不是目标变了，而是 estimator 更低方差。 论文也给出期望梯度等价关系： $\mathbb{E}\left[{\nabla }_{\theta }{\mathcal{L}}_{\text{PG}}(\theta )\right]={\nabla }_{\theta }{\mathcal{L}}_{\text{OPD}}^{\text{diffusion}}(\theta ).$ 这解释了为什么 PPO-style baseline 在 Figure 6 中弱于 closed-form KL。 它并非完全优化错目标，而是使用了更噪的梯度估计。

3.7 Algorithm 1 的训练流程

输入包括任务集合 $\mathcal{M}$。每个任务有 prompt dataset ${\mathcal{C}}^{(m)}$。输入还包括 pretrained diffusion policy $v^{\mathrm{ref}}$。输入还包括 denoising schedule $\{t_j,{\sigma }_j^2{\}}_{j=0}^{N-1}$。输出是 unified multi-task diffusion student $v_{\theta }$。Stage 1 中，对每个任务训练一个 teacher $v_{{\varphi }_m}^{(m)}$。每个 teacher 可以使用 off-the-shelf diffusion RL algorithm。

Stage 2 中，把 student 初始化为 $v^{\mathrm{ref}}$。每一轮训练按任务 round-robin。对任务 $m$，从 ${\mathcal{C}}^{(m)}$ 采样 prompt。使用当前 student rollout 得到 trajectory $\{x_{t_j}{\}}_{j=0}^N$。计算 Eq. 11 或 Eq. 12 的 Monte Carlo estimate。论文默认使用 Eq. 12，即 ODE-style transition matching。将该任务 loss 累加到 total round loss。全部 $M$ 个任务访问完后，再做一次 backward + optimizer step。

这个设计让单次 update 含有完整任务集合的信息。它降低了任务顺序带来的 update bias。

3.8 和传统 multi-task RL 的差异

Multi-task RL 的每个 batch 直接优化 reward。 DiffusionOPD 的每个 batch 优化 teacher-student transition match。 Multi-task RL 中 reward hacking 会直接污染 student。 DiffusionOPD 中 reward hacking 风险主要被隔离在 teacher training 阶段。 Multi-task RL 需要同时解决 exploration、credit assignment、reward balancing。 DiffusionOPD 将 exploration 分摊给多个 specialized teachers。 Student 阶段主要解决 capability integration。 这就是“decouple single-task exploration from multi-task integration”这句话的技术含义。

3.9 方法边界

DiffusionOPD 依赖 teacher 质量。 如果某个 teacher 已经 reward-hacked，student 也可能继承错误行为。 它不免除 Stage 1 的单任务 RL 成本。 它需要 teacher 在 student states 上可查询。 因此 teacher 不能只是黑盒最终样本集合。 训练期要保留 teacher model 或至少保留可计算 transition target 的模型。 对大模型多 teacher 并行推理，显存与吞吐会成为实际瓶颈。

4. Experimental Setup (实验设置)

4.1 Base model 与分辨率

实验遵循 DiffusionNFT 的设置。 Base model 使用 SD3.5-Medium。 训练和主要实验分辨率为 512×512。 对 SD-XL 与 SD3.5-L 的表格 baseline，论文标注为 1024×1024 evaluation。 Evaluation 采用 40-step first-order ODE sampler。 Finetuning 使用 LoRA。 LoRA 参数为 $\alpha =64$、rank $r=32$。

4.2 Reward / metric 组成

Rule-based rewards 包括 GenEval 与 OCR。 GenEval 用于 compositional generation。 OCR 用于 visual text rendering。 Model-based metrics/rewards 包括 PickScore。 还包括 ClipScore。 还包括 HPSv2.1。 还包括 LAION Aesthetics。 还包括 ImageReward。 还包括 UnifiedReward。 Average 列是所有 metrics 经过 min-max normalization 后的均值。

4.3 数据设置

GenEval 与 OCR 使用 FlowGRPO splits。 Aesthetic/preference 相关训练使用 Pick-a-Pic。 Model-based evaluation 使用 DrawBench。 这意味着训练与评价覆盖 rule-based 和 model-based 两类指标。 论文没有把所有指标都当作 Stage 1 teacher 的 reward。 它主要训练 GenEval Teacher、OCR Teacher、Aes Teacher 三个 specialized teachers。 Aes Teacher 的 reward 是 PickScore、ClipScore、HPSv2.1 的等权混合。

4.4 Teacher 训练算法选择

OCR Teacher 使用 GRPO-Guard。 Aes Teacher 使用 GRPO-Guard。 GenEval Teacher 使用 DiffusionNFT。 作者报告，DiffusionNFT 虽然在 OCR 上收敛快，但容易 reward hacking。 OCR reward hacking 的表现是 reward 分数高，但 image quality 严重下降。 对 Aesthetics，GRPO-Guard 的性能上限高于 DiffusionNFT。 对 GenEval，DiffusionNFT 收敛更快且上限更高。 这说明 Stage 1 不是固定算法，而是按任务选择最合适的 RL method。

4.5 Baselines

Baseline 1：Single-task teachers。 这些是 GenEval Teacher、OCR Teacher、Aes Teacher。 它们检验单任务专精模型的跨任务泛化。 Baseline 2：Multi-Task GRPO-Guard。 它直接在多个任务上交替训练 GRPO-Guard。 Baseline 3：Multi-Task NFT。 它直接在多个任务上交替训练 DiffusionNFT。 Baseline 4：Cascade NFT。 它按阶段顺序学习多个任务。 DiffusionOPD 与这些 baselines 共享相同总体任务集合和 evaluation metrics。

4.6 需要注意的公平性点

DiffusionOPD 的 wall-clock time 被写成 max teacher time + OPD training time。 这意味着多个 teacher 可并行训练时，总成本不是三者相加。 表中 DiffusionOPD 的时间为 85.75 + 11.26 小时。 其中 85.75 是最慢 teacher 的训练时间。 11.26 是 OPD integration 阶段时间。 Cascade NFT 的时间是 148.49 小时，并且被标注为 approximated training time。 Multi-task GRPO-Guard 和 Multi-task NFT 都约 128–130 小时。

5. Experimental Results (实验结果)

5.1 主结果表

Model	Time	GenEval	OCR	PickScore	ClipScore	HPSv2.1	Aesthetic	ImgRwd	UniRwd	Avg
SD-XL‡	—	0.55	0.14	22.42	0.287	0.280	5.60	0.76	2.93	0.390
SD3.5-L‡	—	0.71	0.68	22.91	0.289	0.288	5.50	0.96	3.25	0.601
FLUX.1-Dev	—	0.66	0.59	22.84	0.295	0.274	5.71	0.96	3.27	0.599
SD3.5-M w/o CFG	—	0.24	0.12	20.51	0.237	0.204	5.13	-0.58	2.02	0.000
SD3.5-M + CFG	—	0.63	0.59	22.34	0.285	0.279	5.36	0.85	3.03	0.484
GenEval Teacher	46.92	0.96	0.40	22.04	0.274	0.248	5.24	0.59	2.97	0.473
OCR Teacher	33.17	0.65	0.93	22.27	0.290	0.272	5.26	0.90	3.09	0.550
Aes Teacher	85.75	0.49	0.59	24.02	0.295	0.346	6.22	1.498	3.48	0.698
Multi-Task GRPO-Guard	129.86	0.89	0.94	23.12	0.296	0.307	5.61	1.31	3.33	0.763
Multi-Task NFT	128.42	0.95	0.96	22.59	0.288	0.282	5.41	1.08	3.23	0.715
Cascade NFT	148.49*	0.94	0.91	23.80	0.293	0.331	6.01	1.49	3.49	0.851
DiffusionOPD	85.75+11.26†	0.96	0.94	23.99	0.297	0.342	6.15	1.50	3.50	0.929

DiffusionOPD 的 Average 为 0.929，是表中最高。 它与 GenEval Teacher 一样达到 GenEval 0.96。 它在 OCR 上达到 0.94，接近 OCR Teacher 的 0.93 和 Multi-Task NFT 的 0.96。 它在 PickScore 上达到 23.99，接近 Aes Teacher 的 24.02。 它在 ClipScore 上达到 0.297，是表中最高。 它在 HPSv2.1 上达到 0.342，仅略低于 Aes Teacher 的 0.346。 它在 Aesthetic 上达到 6.15，略低于 Aes Teacher 的 6.22。 它在 ImageReward 上达到 1.50，是表中最高。 它在 UnifiedReward 上达到 3.50，是表中最高。 因此主表支持“整合多 teacher 而不是只复制某个 teacher”。

5.2 单任务 teachers 的含义

GenEval Teacher 的 GenEval 是 0.96，但 OCR 只有 0.40。 OCR Teacher 的 OCR 是 0.93，但 GenEval 只有 0.65。 Aes Teacher 的 aesthetic/preference 指标强，但 GenEval 只有 0.49。 这些结果说明 teachers 专精但不全面。 DiffusionOPD 的目的不是让一个 teacher 统治所有任务。 它是让 student 同时吸收多种 teacher 能力。

5.3 Multi-task RL baselines 的含义

Multi-Task GRPO-Guard 的 Average 为 0.763。 Multi-Task NFT 的 Average 为 0.715。 它们都明显低于 DiffusionOPD 的 0.929。 它们训练时间均超过 128 小时。 DiffusionOPD 如果并行训练 teachers，成本写法为 85.75 + 11.26 小时。 这说明直接联合 RL 在效率与性能上都不占优。 表格还显示 multi-task baselines 在 aesthetics 相关指标上不如 DiffusionOPD。 这与论文对 cross-task interference 的判断一致。

5.4 Cascade NFT 的含义

Cascade NFT 的 Average 为 0.851。 它是最强 baseline，但仍低于 DiffusionOPD。 Cascade NFT 的 wall-clock 为 148.49 小时。 它比 DiffusionOPD 的并行 teacher + OPD 方案更慢。 Cascade 的问题是顺序训练带来的 forgetting 与流程复杂度。 它在 OCR 上为 0.91，低于 DiffusionOPD 的 0.94。 它在 ClipScore 上为 0.293，低于 DiffusionOPD 的 0.297。 它在 ImageReward/UniRwd 上也略低。 因此它不是同等成本下的最佳整合方式。

Figure 2 解读：qualitative cases 用两行展示 multi-task RL baselines 与 single-task teachers；DiffusionOPD 更像是在同一个输出中同时保留 compositionality、text rendering 和 aesthetics，而不是在某个单项 reward 上极端优化。

Figure 3 解读：曲线重点是训练效率与性能上限；DiffusionOPD 的 OPD stage 短，但能快速超过直接 multi-task RL，说明 teacher-first decomposition 有助于降低联合优化难度。

5.5 Distillation objective ablation

论文比较 DiffusionOPD、DMD、TDM、SFT。 所有方法使用同一组 specialized teachers。 所有方法按相同数据集交替训练。 SFT 使用 teacher 在线生成图像，然后让 student 模仿。 DMD/TDM 使用 student on-policy sampling，但 objective 不同。 DiffusionOPD 使用 transition-level OPD objective。 Figure 5 显示 DiffusionOPD 收敛最快。 它的最终性能上限也最高。 这说明差异不只是 teacher 集合，而是 on-policy transition KL 的作用。

Figure 4 解读：DMD、TDM、SFT 都在同样 teacher 条件下整合能力，但 DiffusionOPD 的样例更稳定；这支持“student rollout state 上逐步匹配 teacher transition”比离线模仿最终样本更适合多 teacher 整合。

Figure 5 解读：SFT、DMD、TDM 的曲线都不能达到 DiffusionOPD 的速度和上限；这说明 OPD 不是简单 teacher ensemble，而是利用 student on-policy state distribution 提供更贴合 student 当前误差的监督。

5.6 Loss formulation ablation

论文验证 closed-form KL 与 PPO-style policy gradient 的差异。 两者在 multi-task setting 下比较。 采样 noise level 均设为 $a=0.7$。 Closed-form KL 的 reward improvement 更快。 Closed-form KL 的最终 performance ceiling 更高。 这与 §3.6 的理论解释一致。 PPO-style 梯度多出 score-function term。 该项虽然期望无偏，但引入与 Gaussian noise 相关的方差。 直接最小化 analytic KL 避免了这部分噪声。

5.7 Sampler noise level ablation

论文进一步调整 SDE sampler noise level。 Noise level 越低，student 收敛越快。 Noise level 越低，最终 evaluation score 也越高。 当 noise level 为 0，SDE sampler 退化为 ODE sampler。 在这个情况下，训练使用 Eq. 12。 论文报告 ODE sampler 相比 noise level 0.7 的 SDE sampler 最高可达到约 5× efficiency。 这说明在该实验中，更确定性的 transition matching 更适合 distillation。 但这不必然意味着所有 diffusion RL 场景都应使用 ODE。 如果任务需要 exploration，Stage 1 teacher training 仍可能需要 stochasticity。

Figure 6 解读：左侧比较 closed-form KL 与 PPO-style policy gradient；右侧比较 sampler noise level；两部分共同支撑论文的主张，即 analytic transition matching 比把 KL 当 reward 再做 PPO 更稳定。

5.8 结论性结果

DiffusionOPD 在 Average 上优于所有 baseline。 它保持了 GenEval/OCR/Aesthetics 三类能力的平衡。 它的 OPD integration 阶段只需 11.26 小时。 如果 teacher 并行训练，整体 wall-clock 小于 Cascade NFT。 它在 ablation 中优于 DMD/TDM/SFT。 它在 loss formulation ablation 中优于 PPO-style gradient。 它在 noise ablation 中显示 ODE-style deterministic matching 更高效。

6. Code Search & Reproducibility (代码核查)

6.1 Public code status

项目页存在 “Code (Coming Soon)” 入口。 当前该入口解析到 https://github.com/，不是具体 repository。 GitHub repository search 对 DiffusionOPD 返回 0 个结果。 GitHub repository search 对完整论文标题返回 0 个结果。 Web search 也未发现公开实现仓库。 因此本笔记不设置 github_ref。 Frontmatter 中 github_ref: null 是有意为之。

6.2 如果未来代码公开，应补充的核查点

需要记录 repository URL。 需要记录 branch 或 tag。 需要记录 commit SHA。 需要检查 Algorithm 1 是否对应实际 training loop。 需要确认 Eq. 11 / Eq. 12 的默认使用条件。 需要确认 ODE sampler 是否确实为默认。 需要确认 LoRA $\alpha =64,r=32$ 的配置路径。 需要确认 teacher training 脚本是否按 GenEval=DiffusionNFT、OCR/Aes=GRPO-Guard。 需要确认 gradient accumulation factor 是否为 $G=M$。 需要确认 Aes reward 是否为 PickScore/ClipScore/HPSv2.1 的 1:1:1 混合。

6.3 复现实作的最小伪代码

teachers = {}
for task in tasks:
    teachers[task] = train_single_task_teacher(task)
 
student = load_pretrained_policy()
for round in training_rounds:
    total_loss = 0
    for task in tasks:
        prompts = sample_prompts(dataset[task])
        trajectory = rollout_student(student, prompts)
        with no_grad():
            teacher_targets = query_teacher_transitions(teachers[task], trajectory)
        loss_task = transition_mean_matching(student, teacher_targets, trajectory)
        total_loss += loss_task
    total_loss.backward()
    optimizer.step()
    optimizer.zero_grad()

这个伪代码只表达论文 Algorithm 1 的结构。 由于官方代码未公开，它不是源码级复现。 真正复现还需要 scheduler、velocity parameterization、LoRA injection、teacher inference batching 等实现细节。

7. My Notes (个人理解)

7.1 这篇论文最重要的抽象

它把 diffusion alignment 的 multi-task 问题拆成两个子问题。 第一个子问题是单任务 reward exploration。 第二个子问题是多任务 capability integration。 前者用现成 RL teacher 解决。 后者用 on-policy transition distillation 解决。 这比直接设计一个大而全的 multi-reward RL objective 更清晰。

7.2 与 LLM OPD 的类比

LLM 中的 prefix 是 state。 下一个 token distribution 是 transition。 Diffusion 中的 noisy latent 是 state。 下一个 denoising step distribution 是 transition。 LLM OPD 对齐 teacher logits。 DiffusionOPD 对齐 teacher transition means。 两者共同点是 supervision 发生在 student 自己访问的 state 上。

7.3 与 diffusion RL 的关系

Stage 1 仍然依赖 diffusion RL。 DiffusionOPD 不是替代所有 RL。 它替代的是 multi-task joint RL 的 integration 阶段。 Teacher training 可以使用 DiffusionNFT、GRPO-Guard 或未来更好的方法。 因此它更像一个 meta-training recipe。 它把已有单任务 RL 方法转化为统一 student 的 teacher source。

7.4 可能的弱点

Teacher 数量增加时，training round 的 teacher query 成本会增加。 如果每个 teacher 都是大型 diffusion model，显存与吞吐会成为瓶颈。 如果 task reward 之间存在本质冲突，mean matching 可能仍然只能学到折中。 如果某个 teacher 过拟合 reward，OPD 会把这种偏差传给 student。 如果 student rollout distribution 过早崩坏，teacher supervision 也可能在低质量 states 上工作。 论文主要展示三类任务；更大规模 task set 还需要验证。

7.5 为什么分类到 Multimodal Generation/RL & Alignment

论文对象是 text-to-image diffusion model。 主贡献是 RL/alignment 后训练范式。 它不属于 video generation、3D、agent 或 VLA。 虽然包含 distillation theory，但实验和问题都围绕 multimodal generation alignment。 因此最合适的 vault taxonomy 是 Multimodal Generation/RL & Alignment。

8. Source Anchors (来源锚点)

Paper：arXiv 2605.15055v1，submitted on 2026-05-14。Project：https://quanhaol.github.io/DiffusionOPD-site/。Authors：Quanhao Li、Junqiu Yu、Kaixun Jiang、Yujie Wei、Zhen Xing、Pandeng Li、Ruihang Chu、Shiwei Zhang、Yu Liu、Zuxuan Wu。Institutions：Fudan University；Wan Team, Alibaba Group。Base model：SD3.5-Medium。

Main tasks：GenEval、OCR、Aesthetics/preference。Main teacher algorithms：GenEval uses DiffusionNFT；OCR/Aes use GRPO-Guard。Main objective：student on-policy transition mean matching to task-specific teacher。Main result：Average 0.929 with wall-clock 85.75+11.26 hours under paper’s accounting.

Code status：no public repository found as of 2026-05-19.