From Sparse to Dense: Multi-View GRPO for Flow Models via Augmented Condition Space

1. Motivation (研究动机)

• Single-View 评估的稀疏性：标准 Flow-based GRPO 方法（如 Flow-GRPO - Training Flow Matching Models via Online RL、DanceGRPO - Unleashing GRPO on Visual Generation）在训练时采用 “Single-View” 范式——对同一个 prompt 生成的一组样本，仅用该原始 prompt 计算 reward 并估计 advantage。这导致 condition-to-data 的 reward mapping 是稀疏的一对多映射，无法充分挖掘样本间的细粒度关系。
• 排序随条件变化而变化：同一组 SDE 生成的图像，在语义相近但不同的条件下评估时，reward 排序会发生显著变化。例如一张包含”猫和狗在茶杯中”的图像，在描述 lighting 的条件下可能排名很高，但在描述 composition 的条件下排名很低。仅依赖单一条件的排序不足以捕捉样本间的多面关系。
• 扩展条件空间而非数据空间：在数据空间（生成新样本）扩展需要昂贵的完整去噪过程，而在条件空间扩展（生成新 caption）的计算开销远小于此，且可以复用已有的 noise-free 样本。

2. Idea (核心思想)

MV-GRPO 的核心思想是：通过扩增条件空间（Augmented Condition Space）将稀疏的 single-view reward mapping 转变为稠密的 multi-view reward mapping。具体来说，对一组已生成的样本，使用 Condition Enhancer（VLM 或 LLM）生成与原始 prompt 语义相邻但关注不同属性的多个辅助描述。然后在这些新条件下重新评估样本的 reward 和 advantage，从而在不重新生成样本的前提下获得更丰富的优化信号。

与 Flow-GRPO - Training Flow Matching Models via Online RL、DanceGRPO - Unleashing GRPO on Visual Generation、TempFlow-GRPO 等方法相比，MV-GRPO 不改变采样过程或时序加权策略，而是从 reward 评估维度进行创新——用多视角评估取代单视角评估，这是一个正交于其他 GRPO 改进的维度。

3. Method (方法)

3.1 整体框架

Figure 4 解读：MV-GRPO 的整体流程分为三个阶段：(1) GRPO SDE Rollout：给定输入条件（如 “A cute puppy playing on the lawn”），使用当前 T2I 模型通过 SDE 采样生成一组 $G$ 张图像；(2) Condition Enhancement：通过 Condition Enhancer（VLM 或 LLM）生成 $K$ 个语义相邻但关注不同视觉属性的增强条件；(3) Multi-View Optimization：将原始条件和增强条件共同用于评估每个样本，形成 $(K+1)\times G$ 的稠密 reward 矩阵，每个样本在每个条件下获得独立的 advantage 估计，所有 advantage 汇聚为最终的优化目标。

3.2 稀疏 vs 稠密映射

Figure 2 解读：左图展示标准 GRPO 的 Sparse Single-View Mapping：条件空间 $\mathcal{C}$ 中只有原始条件 $c_0$，数据空间 $\mathcal{X}$ 中的 $G$ 个样本仅被 $c_0$ 评估一次，样本间关系仅基于一个视角建立。右图展示 MV-GRPO 的 Dense Multi-View Mapping：通过增强条件集 $\{c_0,c_1,\dots ,c_K\}$，每个样本被从多个视角评估，建立了更丰富的 condition-data reward mapping，发现了 single-view 下不可见的样本间新关系（红色虚线箭头）。

3.3 观察：Reward 排序随条件变化

Figure 3 解读：四张由 SDE 采样生成的图像（均为”猫和狗在茶杯中”），在原始条件下排序为 A > B > C > D。但当条件扰动为关注 Lighting 时排序变为 B > C > D > A；关注 Motion 时变为 A > D > B > C；关注 Composition 时变为 C > B > D > A。每个条件下的 reward 分数（右侧数值）变化显著，表明单一条件不足以全面评估样本质量。

3.4 Condition Enhancer

Condition Enhancer 算子 $\mathcal{E}:\mathcal{C}\times \mathcal{X}\to 2^{\mathcal{C}}$，将 anchor 条件 $\mathbf{c}$ 和样本组 ${\mathbf{X}}_G=\{x_0^i{\}}_{i=1}^G$ 映射到增强条件集：

$${\mathcal{V}}_K=\mathcal{E}(\mathbf{c},{\mathbf{X}}_G)=\{{\mathbf{c}}^{\prime }\in \mathcal{C}\mid {\mathbf{c}}^{\prime }\sim p_{\mathcal{E}}(\cdot |\mathbf{c},{\mathbf{X}}_G)\}$$

论文提供了两种实现：

Online VLM Enhancer

使用预训练 VLM（Qwen3-VL-8B）作为在线 Condition Enhancer ${\mathcal{E}}_{\text{VLM}}$。训练循环中将每个 SDE 样本 $x_0^i$ 投射回条件空间获得后验描述：

$${\mathcal{V}}_K^{\text{post}}=\{{\mathbf{c}}_i^{\text{post}}\in \mathcal{C}\mid {\mathbf{c}}_i^{\text{post}}\sim p_{{\mathcal{E}}_{\text{VLM}}}(\cdot |\mathbf{c},x_0^i,{\text{P}}_{\text{VLM}}),i=1\dots K\}$$

多样性保证来自两方面：(1) 每个增强条件来自不同的 SDE 样本（$K=G$）；(2) 使用多样化的 VLM 指令集 ${\mathcal{P}}_{\text{VLM}}$（覆盖 lighting、composition、style 等 9 个描述视角）。

Figure 10 解读：VLM prompt 模板包含角色定义（professional image captioner）、指令约束（<77 tokens、多样性、不重复原始 prompt）、few-shot 示例（从街景、特写、赛博朋克等多种风格展示期望输出格式），以及输入的图像和原始文本 prompt。${\mathcal{P}}_{\text{VLM}}$ 指令集如 Table 6 所示：

1. Focus on main subjects and key attributes
2. Focus on actions, motion, or interactions
3. Focus on scene layout and spatial relationships
4. Focus on lighting conditions and shadows
5. Focus on color palette and contrast
6. Focus on camera angle, lens feel, and depth of field
7. Focus on background/setting and environmental context
8. Focus on textures and material details
9. Focus on mood, atmosphere, and tone

Offline LLM Enhancer

使用预训练 LLM（Qwen3-8B）作为离线 Condition Enhancer ${\mathcal{E}}_{\text{LLM}}$，直接基于原始条件 $\mathbf{c}$ 生成先验描述：

$${\mathcal{V}}_K^{\text{prior}}=\{{\mathbf{c}}_i^{\text{prior}}\in \mathcal{C}\mid {\mathbf{c}}_i^{\text{prior}}\sim p_{{\mathcal{E}}_{\text{LLM}}}(\cdot |\mathbf{c},\text{Mem},{\text{P}}_{\text{LLM}}),i=1\dots K\}$$

其中 Mem 是历史输出缓冲区（防止重复），${\mathcal{P}}_{\text{LLM}}$ 包含三种编辑操作：addition（添加细节）、deletion（删除元素）、rewriting（改写表达）。LLM Enhancer 可以完全离线执行，不依赖生成的图像。

Figure 11 解读：LLM prompt 模板定义为 professional caption editor 角色，输入原始 prompt 和 memory buffer，随机选择一种操作（ADD/DELETE/PARAPHRASE），要求输出多样、不重复的编辑结果。模板包含每种操作的 few-shot 示例。

3.5 Multi-View GRPO 训练目标

前置：Flow-based GRPO

Flow Matching 生成过程建模为 MDP。采样使用 SDE 引入随机性：

$$d{x}_t=\left(v_{\theta }(x_t,t,\mathbf{c})+\frac{{\sigma }_t^2}{2t}(x_t+(1-t)v_{\theta }(x_t,t,\mathbf{c}))\right)dt+{\sigma }_{t}d{w}_t$$

其中 ${\sigma }_t=\eta \sqrt{\frac{t}{1-t}}$，$\eta$ 控制噪声幅度。标准 GRPO 的 advantage 估计为：

$$A_i=\frac{R(x_0^i,\mathbf{c})-\text{mean}(\{R(x_0^j,\mathbf{c}){\}}_{j=1}^G)}{\text{std}(\{R(x_0^j,\mathbf{c}){\}}_{j=1}^G)}$$

MV-GRPO 目标函数

MV-GRPO 将原始条件和 $K$ 个增强条件的 policy gradient loss 聚合：

$${\mathcal{J}}_{\text{MV-GRPO}}(\theta )=\mathbb{E}\left[\underset{\text{Objective for Original Condition}}{\underbrace{\frac{1}{G}\sum _{i=1}^G\frac{1}{T}\sum _{t=0}^{T-1}\min \left(r_t^i(\theta )A_i^{i,\mathbf{c}},\text{clip}(r_t^i(\theta ),1-\epsilon ,1+\epsilon )A_i^{i,\mathbf{c}}\right)}}+\underset{\text{Objective for Augmented Conditions}}{\underbrace{\sum _{k=1}^K\frac{1}{G}\sum _{i=1}^G\frac{1}{T}\sum _{t=0}^{T-1}\min \left(r_t^{{}^{\prime }i}(\theta ,{\mathbf{c}}_k)A_i^{i,{\mathbf{c}}_k},\text{clip}(r_t^{{}^{\prime }i}(\theta ,{\mathbf{c}}_k),1-\epsilon ,1+\epsilon )A_i^{i,{\mathbf{c}}_k}\right)}}\right]$$

其中 importance sampling ratio 分别为：

$$r_t^i(\theta )=\frac{p_{\theta }(x_{t-1}^i|x_t^i,\mathbf{c})}{p_{{\theta }_{\text{old}}}(x_{t-1}^i|x_t^i,\mathbf{c})},r_t^{{}^{\prime }i}(\theta ,{\mathbf{c}}_k)=\frac{p_{\theta }(x_{t-1}^i|x_t^i,{\mathbf{c}}_k)}{p_{{\theta }_{\text{old}}}(x_{t-1}^i|x_t^i,{\mathbf{c}}_k)}$$

注意增强条件下的 importance ratio $r_t^{{}^{\prime }i}(\theta ,{\mathbf{c}}_k)$ 需要重新计算：将条件从 $\mathbf{c}$ 替换为 ${\mathbf{c}}_k$，但 trajectory $\{x_t^i\}$ 不变。

理论保障：概率漂移分析

替换条件后，SDE 转移概率的变化定义为：

$$\delta (\mathbf{c},{\mathbf{c}}_k)=|\log p_{\theta }(x_{t-1}|x_t,\mathbf{c})-\log p_{\theta }(x_{t-1}|x_t,{\mathbf{c}}_k)|$$

Figure 5 解读：在 SDE Step 0、Step 2、Step 4 处对 500 对 $(\mathbf{c},{\mathbf{c}}_k)$ 计算概率漂移的分布。大部分条件对的漂移接近零，集中在极小值附近，验证了 Condition Enhancer 生成的语义相邻条件不会导致显著的转移概率偏移，使得增强条件可以安全地融入 GRPO 训练。

3.6 伪代码

Algorithm 1: Multi-View GRPO Training

Algorithm: Multi-View GRPO Training Process
Input: Prompt dataset P, policy model π_θ, reward model R,
       total sampling steps T, SDE sampling timestep set M,
       group size G, Condition Enhancer E, augmented conditions K
Output: Optimized policy model π_θ
 
1:  for training iteration e = 1 to E do
2:      θ_old ← θ                          # freeze old policy
3:      P_b ~ P                              # sample batch prompts
4:      for anchor condition c ∈ P_b do
5:          # === Phase 1: SDE Sampling ===
6:          x_T ~ N(0, I)                    # initialize noise
7:          for t = T down to 1 do
8:              if t ∈ M then
9:                  SDE Sampling: generate x_{t-1}^i for i=1...G
10:                 Record log p_θ_old(x_{t-1}^i | x_t^i, c)
11:             else
12:                 ODE Sampling: generate x_{t-1} (deterministic)
13:             end if
14:         end for
15:         X_G = {x_0^i}_{i=1}^G            # generated samples
16:
17:         # === Phase 2: Condition Enhancement ===
18:         V_K = {c_k}_{k=1}^K ~ p_E(·| c, X_G)
19:         # VLM: caption each x_0^i with diverse perspectives
20:         # LLM: rewrite c with addition/deletion/paraphrasing
21:
22:         # === Phase 3: Multi-View Advantage Estimation ===
23:         Compute R(x_0^i, c) and A_i^c for anchor condition c
24:         for c_k ∈ V_K do
25:             Compute R(x_0^i, c_k) and A_i^{c_k}
26:             Compute log p_θ(x_{t-1}^i | x_t^i, c_k)  # re-evaluate
27:         end for
28:
29:         # === Phase 4: MV-GRPO Objective ===
30:         L = L_original(c) + Σ_k L_augmented(c_k)
31:         θ ← θ + η∇_θ L
32:     end for
33: end for

Condition Enhancement: VLM Enhancer

Algorithm: Online VLM Condition Enhancement
Input: Anchor condition c, generated samples X_G = {x_0^i},
       VLM model E_VLM, instruction set P_VLM (9 perspectives)
Output: Augmented condition set V_K (K = G conditions)
 
1:  V_K = {}
2:  for i = 1 to G do
3:      p_vlm ~ random_sample(P_VLM)  # e.g. "Focus on lighting"
4:      prompt = VLM_TEMPLATE(
5:          instruction=p_vlm,
6:          image=x_0^i,
7:          original_prompt=c
8:      )
9:      c_i^post = E_VLM.generate(prompt, max_tokens=77)
10:     V_K = V_K ∪ {c_i^post}
11: end for
12: return V_K

Condition Enhancement: LLM Enhancer

Algorithm: Offline LLM Condition Enhancement
Input: Anchor condition c, LLM model E_LLM,
       operation set P_LLM = {addition, deletion, rewriting},
       memory buffer Mem
Output: Augmented condition set V_K (K conditions)
 
1:  V_K = {}
2:  Mem = []                            # historical output buffer
3:  for i = 1 to K do
4:      p_llm ~ random_sample(P_LLM)   # e.g. "addition"
5:      prompt = LLM_TEMPLATE(
6:          instruction=p_llm,
7:          original_prompt=c,
8:          memory_buffer=Mem
9:      )
10:     c_i^prior = E_LLM.generate(prompt, max_tokens=77)
11:     Mem.append(c_i^prior)           # prevent duplicates
12:     V_K = V_K ∪ {c_i^prior}
13: end for
14: return V_K

Multi-View Advantage Re-estimation

Algorithm: Multi-View Advantage Computation
Input: Samples X_G, anchor condition c, augmented conditions V_K,
       reward model R, old policy log-probs, current policy θ
Output: MV-GRPO loss
 
1:  # Original condition advantage
2:  rewards_c = [R(x_0^i, c) for i in 1..G]
3:  A_c = (rewards_c - mean(rewards_c)) / std(rewards_c)
4:
5:  # Compute original condition loss
6:  L_orig = 0
7:  for i = 1 to G do
8:      for t = 0 to T-1 do
9:          r_t^i = p_θ(x_{t-1}^i | x_t^i, c) / p_θ_old(x_{t-1}^i | x_t^i, c)
10:         L_orig += min(r_t^i * A_c[i],
11:                       clip(r_t^i, 1-ε, 1+ε) * A_c[i])
12:     end for
13: end for
14:
15: # Augmented conditions advantage
16: L_aug = 0
17: for k = 1 to K do
18:     rewards_k = [R(x_0^i, c_k) for i in 1..G]
19:     A_k = (rewards_k - mean(rewards_k)) / std(rewards_k)
20:     for i = 1 to G do
21:         for t = 0 to T-1 do
22:             # Re-compute log-prob under new condition c_k
23:             r_t'^i = p_θ(x_{t-1}^i | x_t^i, c_k) / p_θ_old(x_{t-1}^i | x_t^i, c_k)
24:             L_aug += min(r_t'^i * A_k[i],
25:                          clip(r_t'^i, 1-ε, 1+ε) * A_k[i])
26:         end for
27:     end for
28: end for
29:
30: return (L_orig + L_aug) / (G * T * (K+1))

3.7 代码映射表

代码搜索未找到 MV-GRPO 开源实现（项目页标注 “Code Coming Soon”）。以下基于 MV-GRPO 构建于 Flow-GRPO-Fast 之上，映射到 Flow-GRPO 代码库中的对应模块：

论文概念	源文件	关键类/函数
SDE 采样 + log-prob	flow_grpo/diffusers_patch/flux_pipeline_with_logprob_fast.py	sde_step_with_logprob()
GRPO Advantage 计算	flow_grpo/ (训练脚本)	PerPromptStatTracker
Policy Gradient Loss	flow_grpo/ (训练脚本)	clip(ratio, 1-ε, 1+ε) * advantage
Reward 聚合	flow_grpo/clip_scorer.py, flow_grpo/aesthetic_scorer.py	multi_score()
Condition Enhancer (VLM)	MV-GRPO 新增，未开源	Qwen3-VL-8B 推理
Condition Enhancer (LLM)	MV-GRPO 新增，未开源	Qwen3-8B 推理
增强条件下 importance ratio	MV-GRPO 新增，未开源	重新计算 $p_\theta(x_{t-1}

4. Experimental Setup (实验设置)

• 数据集：HPD 数据集（>100K prompts 训练，400 prompts 评估）
• 基础模型：Flux.1-dev（开源 T2I flow model）
• Condition Enhancer：Online VLM 用 Qwen3-VL-8B，Offline LLM 用 Qwen3-8B
• 基线方法：Vanilla Flux.1-dev、Flow-GRPO、DanceGRPO、TempFlow-GRPO、DiffusionNFT
• 评估指标：
  • VLM-based Reward：HPS-v3、UnifiedReward-v1/v2
  • CLIP/BLIP-based Reward：HPS-v2、CLIP、ImageReward (IR)
• 训练配置：
  • 16×NVIDIA H200 GPU，batch size 1，AdamW optimizer
  • Learning rate $2\times 10^{-6}$，weight decay $1\times 10^{-4}$，bf16 mixed precision
  • SDE 采样步数 $T=16$，噪声 $\eta =0.7$，组大小 $G=12$，增强条件数 $K=12$
  • 训练步数配置 $\{0,2,4,6\}$（Flow-GRPO-Fast 变体）
  • Advantage clip max = 5.0，Clip range $=1\times 10^{-4}$
• 实验设置：
  • Single-Reward：仅用 HPS-v3 或 UnifiedReward-v2
  • Multi-Reward：联合使用 HPS-v3 + CLIP 防止 reward hacking

5. Experimental Results (实验结果)

5.1 主要结果

Figure 6 解读：三种 reward 设置（HPS-v3、UnifiedReward-v2、HPS-v3 + CLIP）下的训练曲线。MV-GRPO（红线）在收敛速度和性能上限上均超过 Flow-GRPO 和 TempFlow-GRPO 等基线。特别是在 HPS-v3 单 reward 设置下，MV-GRPO 的 reward 增长斜率更陡且最终值更高。

Table 1: 主要定量结果

Reward Model	Method	HPS-v3	UR-v2-A	UR-v2-C	UR-v2-S	HPS-v2	CLIP	IR	UR-v1
/	Flux.1-dev	0.133	3.250	3.634	3.223	0.305	0.389	1.042	3.604
HPS-v3	Flow-GRPO	0.147	3.235	3.670	3.236	0.326	0.380	1.149	3.548
	DanceGRPO	0.145	3.238	3.663	3.224	0.322	0.381	1.165	3.585
	TempFlow-GRPO	0.150	3.240	3.683	3.299	0.332	0.376	1.184	3.559
	DiffusionNFT	0.149	3.244	3.676	3.259	0.330	0.364	1.161	3.551
	MV-GRPO (LLM)	0.153	3.232	3.692	3.313	0.336	0.373	1.176	3.557
	MV-GRPO (VLM)	0.155	3.229	3.701	3.320	0.340	0.370	1.193	3.569
UnifiedReward-v2	Flow-GRPO	0.129	3.176	3.668	3.268	0.297	0.373	1.003	3.429
	MV-GRPO (VLM)	0.143	3.245	3.734	3.454	0.332	0.367	1.187	3.507
HPS-v3 + CLIP	Flow-GRPO	0.141	3.258	3.657	3.233	0.322	0.391	1.165	3.627
	MV-GRPO (VLM)	0.152	3.268	3.720	3.396	0.342	0.393	1.268	3.671

MV-GRPO (VLM) 在几乎所有指标上取得最佳或次佳结果。VLM Enhancer 优于 LLM Enhancer，因为 VLM 能为每个样本生成针对性的后验描述，提供更精确的评估视角。Multi-reward 设置（HPS-v3 + CLIP）进一步提升了整体性能。

5.2 定性比较

Figure 7 解读：在 HPS-v3 reward 下的定性比较。MV-GRPO（最下行）相比 DanceGRPO、Flow-GRPO、TempFlow-GRPO、DiffusionNFT 等方法，在语义对齐、视觉细节和结构连贯性上均有明显提升。如 “room” 和 “tower” 场景中，MV-GRPO 渲染出更精细的室内/建筑细节；“skater” 场景中面部表情和衣物纹理更生动。

Figure 8 解读：在 UnifiedReward-v2 reward 下的定性比较。MV-GRPO 在 “daffodil” 和 “cave” 场景中生成了更丰富的背景元素（家具、月亮、星空等），“ski” 场景中不仅人物细节到位，光照和构图也更具沉浸感。

5.3 延迟分析

Table 2: 计算开销比较

Method	NFE	Iteration Time (s)
Flow-GRPO-Fast	13	156.26
+ Data Augmentation	156	1931.15
+ MV-GRPO (Ours)	13	191.59

MV-GRPO 的额外开销仅约 22%（191.59 vs 156.26 秒），远低于在数据空间进行增强（需要额外 10× 以上的采样），且 NFE（Number of Function Evaluations）与基线相同。

5.4 与其他 GRPO 框架的兼容性

Table 3: 集成到 DanceGRPO-Fast 的结果

Method	HPS-v3	UR-v2 (avg)	HPS-v2	CLIP	IR	UR-v1
DanceGRPO-Fast	0.149	3.387	0.330	0.375	1.108	3.555
+ MV-GRPO (LLM)	0.153	3.411	0.334	0.370	1.172	3.561
+ MV-GRPO (VLM)	0.154	3.418	0.342	0.368	1.187	3.567

MV-GRPO 可以即插即用地集成到 DanceGRPO 等其他 GRPO 框架中，验证了其通用性。

5.5 消融实验

Table 4: 消融结果

(a) 增强条件数 K：性能随 $K$ 增大而提升，但在较大值处趋于饱和。$K=G/2=6$ 已能取得接近 $K=G=12$ 的性能，但由于条件增强开销小，选择 $K=G=12$ 以最大化映射密度。

(b) 条件多样性：移除 SDE 查询（所有条件从同一 ODE 样本生成）或移除多视角指令集 ${\mathcal{P}}_{\text{VLM}}$，性能均显著下降。表明样本级随机性和 prompt 级语义多样性两者缺一不可。

(c) Enhancer 规模：Qwen3-VL-8B 整体优于 Qwen3-VL-2B，但 2B 模型在 UR-v1 和 HPS-v2 等指标上甚至略胜 8B，说明 MV-GRPO 的核心优势来自 dense multi-view 评估机制本身，而非 Condition Enhancer 的容量。

Figure 9 解读：展示了两组增强条件示例。对于 “Motorcycle racer leaning low coming out of a turn”，VLM Enhancer 生成了关注色彩（“red and black gear”）、光照（“streetcar lighting”）、动作（“professional racer in full gear”）等不同视角的描述。对于 “pink bathroom” 场景同理，生成了关注风格（“vintage-style”）、装饰（“freestanding bathtub, a vanity with two sinks”）等描述。

5.6 局限性

论文在附录中提到：

• MV-GRPO 的性能依赖于 Condition Enhancer 的质量，如果生成的增强条件语义偏离过大，可能引入噪声信号
• 当前仅在 T2I 任务上验证，尚未扩展到 T2V 等其他生成任务
• 增强条件的数量 $K$ 受限于 reward model 的推理速度