KVPO: ODE-Native GRPO for Autoregressive Video Alignment via KV Semantic Exploration

Paper: arXiv:2605.14278v1 Code: Richard-Zhang-AI/KVPO Code reference: main @ 68a3743b (2026-05-19) Project: richard-zhang-ai.github.io/KVPO-Project

1. Motivation (研究动机)

KVPO 讨论的是一个非常具体但越来越重要的问题：如何在不破坏 ODE 蒸馏视频生成器原生推理动力学的前提下，用在线 RL 对齐流式自回归视频模型。LongLive、MemFlow 这类模型按 block 逐段生成长视频，历史帧不是简单拼接进输入，而是被压缩成 DiT 里的 KV cache；后续 block 的故事线、物体身份、相机运动和动作发展都强依赖这段历史 cache。现有视频 RL alignment 方法通常从扩散或 flow matching 的每一步噪声扰动入手，把探索源放在低层 latent/noise 空间，再用 SDE 式 surrogate policy 或几何距离近似策略概率。

作者认为这对 distilled AR 视频模型存在两层错配：一是推理本身多为 deterministic probability-flow ODE，二是长视频质量的关键变量是“历史叙事如何被继承和改写”，而不是单帧纹理噪声。论文的动机不是再提出一个通用 reward 加权方案，而是把探索、策略建模和 GRPO 目标都重新放回 AR video generator 的 native structure 里。对流式 AR 模型来说，历史 KV cache 已经是“因果记忆”：改变它会改变未来内容的语义条件。KVPO 因此提出把多分支探索从随机噪声迁移到历史 KV 的路由选择上，让不同 branch 看到不同但仍来自真实生成历史的 local memory。

这样做的直觉是：如果想让长视频产生不同 storyline、不同动作走向或不同物体关系，修改“模型记住了哪些历史片段”比给当前 latent 加噪更接近模型实际决策边界。另一个动机是策略概率的定义。GRPO/PPO 需要一个可比较的 policy ratio，但纯 ODE 生成没有显式随机 transition kernel；直接用 branch 之间的 latent L2 距离来代替 likelihood 又假设 latent 空间各维均匀且欧氏几何能反映模型偏好。

KVPO 认为更自然的信号在 flow-matching velocity field：如果当前模型在未扰动部署上下文下能很好复现某个 branch 的 rollout velocity target，则该 branch 更像当前 policy 倾向生成的轨迹。于是论文用 Trajectory Velocity Energy (TVE) 把 branch likelihood 转换成一个 Gibbs surrogate policy，再做 reward-weighted contrastive optimization。

这篇论文真正想解决的不是“视频生成器能不能用 RL”，而是对 streaming AR video 这种带历史 cache 的 ODE 模型，RL 的探索变量和策略概率应当从哪里来。如果把探索继续放在噪声空间，RL 看到的多样性主要是外观扰动；如果把探索放在历史 cache 的因果语义空间，分支差异更容易体现在故事发展、动作连续性和 prompt grounding 上。这个设定也解释了为什么 KVPO 在长视频 multi-prompt setting 上相对 Astrolabe 的优势更明显：长视频的失败往往是语义漂移、身份丢失和场景切换不自然，而不是单帧质量不足。

2. Idea (核心思想)

核心 insight：KVPO 把“策略探索”从当前噪声迁移到历史 KV cache 的因果语义路由，把“策略概率”从 SDE transition kernel 或 latent L2 迁移到 flow-matching velocity field 的能量。 这样 GRPO 的三个要素——branch generation、branch probability、reward-weighted update——都与 streaming AR video 的 ODE 推理和 KV 记忆结构一致。更具体地说，KVPO 有两个互补模块。

第一个模块是 Causal History Routing (CHR)：保持 sink KV 不变以保留全局锚点，保留最近若干帧以维持局部运动连续性，只随机替换 local KV window 里较旧的 slots。每个 branch 对旧历史片段采样不同索引，因此未来 block 在相同 prompt、相同主模型、相同 ODE 采样框架下沿着不同历史语义发展。第二个模块是 Velocity-Field Surrogate Policy：对每个 branch 缓存 rollout 中间 latent 和 rollout velocity target，在 replay 阶段恢复默认未扰动上下文，让当前 policy 预测这些 velocity；

预测误差越小，TVE 越低，Gibbs 概率越高。这个设计的关键不是“KV cache 可以被打乱”这么简单。CHR 要同时满足三件事：第一，branch 必须足够不同，否则 reward advantage 信号很弱；第二，branch 必须在数据流形上，否则 reward 模型容易奖励或惩罚伪影；第三，探索不能破坏短期 temporal anchor，否则长视频会出现跳变。论文固定 local window 为 9 个 slots，其中后 3 个近邻 frame 始终保留，前 6 个从更旧非 sink 历史中随机取；这就是在“语义探索”和“局部连续性”之间做结构化折中。

TVE 则解决了 ODE-native policy ratio 的定义问题：它不是外部几何距离，而是用模型自己的 velocity prediction ability 来表达“当前 policy 对某条 branch 的倾向”。

3. Method (方法)

3.1 Preliminaries: block-wise AR video and flow matching

论文把视频 $V=[v_1,\dots ,v_B]$ 划成 $B$ 个 blocks，生成第 $b$ 个 block 时条件为历史视频 $v_{<b}$ 和文本 prompt $\mathcal{C}$，即 $p_{\theta }(v_b\mid v_{<b},\mathcal{C})$。在 DiT 实现中，历史不是原始帧输入，而是被压缩为 KV cache ${\mathcal{K}}_{<b}$。典型 streaming cache 有两部分：sink cache 存最早的全局锚点，local cache 存最近的滑动窗口。sink 负责长期身份和全局场景一致性，local 负责短期动作、运动连续性和局部上下文。

在 flow matching 下，模型沿线性插值路径学习 velocity field。可以把干净 latent $x_0$ 与噪声 latent $x_T$ 写成 $x_t=t{x}_0+(1-t)x_T$，模型预测 $v_{\theta }(x_t,t,{\mathcal{K}}_{<b})$ 来近似目标速度。推理时用 probability-flow ODE 从噪声积分到样本。这里的重要点是：如果模型已经是 distilled/ODE 推理，训练后对齐也最好不要强行引入 SDE kernel；否则 surrogate policy 与模型实际部署路径不一致。KVPO 的 TVE 正是试图在 velocity field 里恢复一个可优化的 policy score。

3.2 Causal History Routing (CHR)

CHR 的输入是一个 pivot block $b^{\text{*}}$，此时已经生成了 $L$ 个历史 frames。它保持 sink memory 不动，例如 sink 包含最早 3 帧 $(K_1,V_1),(K_2,V_2),(K_3,V_3)$。local memory 使用固定 9-slot 布局：最后 3 个 slots 固定为最近帧 $K_{near}=\{(K_{L-2},V_{L-2}),(K_{L-1},V_{L-1}),(K_L,V_L)\}$；前 6 个 slots 对每个 branch $g$ 从更旧的非 sink 历史集合 ${\Omega }_L=\{4,5,\dots ,L-3\}$ 中随机采样。于是 branch-specific local cache 是“6 个旧语义记忆 + 3 个近邻锚点”的组合。

注意力计算时，当前 block query $Q_{b^{\text{*}}}^g$ 仍然 attend 到 sink、branch-specific local cache 和当前 block KV 的拼接。这个操作并不凭空制造历史，而是在已生成的历史里重新路由信息；因此探索分支仍在模型自己的数据流形上。论文强调 CHR 只在连续窗口 $\mathcal{B}=[b^{\text{*}},b^{\text{*}}+W)$ 内使用，窗口前共享默认 KV，窗口后恢复标准 local cache，但窗口内写回的 perturbed KV 会继续影响后续 block。这意味着 semantic intervention 是局部注入、全局传播的：开销集中在一个窗口，影响可以延伸到后续长视频。

论文还限制 CHR 只作用于 perturbed block 的前半段 ODE steps。直觉是早中期 solver stages 决定粗语义布局、主要 motion 和场景结构；晚期 steps 更多修纹理和细节，继续扰动不仅增加 replay 成本，也可能破坏视觉质量。这个限制与 ablation 一致：perturb 2 个 solver steps 最均衡，1 步不够改变语义，更多步会损害 VQ 或增加显存。

3.3 Rollout, replay and TVE surrogate policy

Rollout 阶段使用 frozen old policy 生成 $G$ 个 CHR branch，并同时生成一个 anchor trajectory $X^0$，anchor 使用默认 local cache，不做 CHR 路由。每个 branch 产生 reward $r^g$，anchor 产生 baseline reward $r^0$。对 perturbed window 内每个 block/solver step，KVPO 缓存 replay tuple $(z_{b,s}^g,{\hat{u}}_{b,s}^g)$：其中 $z_{b,s}^g$ 是中间 latent，${\hat{u}}_{b,s}^g$ 是 rollout velocity target。Replay 阶段恢复未扰动部署上下文 ${\mathcal{K}}_{<b}$，让当前模型预测 $v_{\theta }(z_{b,s}^g,t_s,{\mathcal{K}}_{<b})$。

TVE 可以理解为“当前 policy 在正常上下文下重现这条 branch 的 velocity 轨迹有多费劲”。若某 branch 的 replay velocity 与 rollout target 更接近，它的能量低，表示当前 policy 更倾向于该 branch；若误差大，则它不是当前 policy 的自然生成方向。论文把能量转成 logits ${\ell }_{\theta }^g=-{\mathcal{E}}_{\theta }(X^g)/\tau$，再用 Gibbs softmax 得到 ${\pi }_{\theta }(g)$。旧策略 ${\pi }_{\mathrm{old}}(g)$ 同理从 frozen old policy 的 TVE 得出，于是 PPO/GRPO ratio ${\rho }_g={\pi }_{\theta }(g)/{\pi }_{\mathrm{old}}(g)$ 可定义在 ODE-native branch distribution 上。

3.4 Reward design and regularization

论文中的 reward 是复合信号：Visual Quality (VQ) 使用 HPSv3，Motion Quality (MQ) 与 Text-Video Alignment (TA) 使用 VideoAlign 官方配置。长视频 reward 按 segment 计算后平均，避免只看某一段而忽略跨段质量。优化目标还包含 discrete KL regularization： ${\mathcal{D}}_{KL}({\pi }_{\theta }\Vert {\pi }_{\mathrm{ref}})={\sum }_{g=1}^G{\pi }_{\theta }(g)[\log {\pi }_{\theta }(g)-\log {\pi }_{\mathrm{ref}}(g)].$ 这个 KL 不是 token-level KL，而是 branch-level surrogate policy distribution 上的 KL。它约束当前 policy 不要过度偏离 reference branch distribution，尤其防止 reward model 在少数 branch 上把策略推得太极端。released code 默认把 kl_reference_initial: true，因此 KL reference 可以是 frozen initial generator；同时也保留 old-policy reference 的路径。

3.5 Algorithm flow / pseudocode based on released code

下面伪代码不是按论文抽象算法重写，而是按开源 KVPOTrainer.rollout()、DiversitySamplingPipeline.plan_perturbation()、CausalWanModel 的 perturbation hook 和 KVPOTrainer.train_step() 的真实结构概括：

for training_step in range(max_train_steps):
    prompts = sample_prompt_sequence(data_path)
 
    # rollout with old policy
    plan = pipeline.plan_perturbation(
        total_frames=streaming_max_length,
        chunk_size=streaming_chunk_size,
        min_new_frame=streaming_min_new_frame,
        K=8,
        perturb_within_first_x_chunks=7,
        perturb_num_blocks=5,
        sink_size=3,
    )
 
    prefix = generate_until_pivot_with_default_kv(old_generator)
    branches = []
    for g in range(K):
        pipeline.restore_state(prefix_kv_state)
        pipeline.activate_perturbation(
            selected_older_frame_indices=plan.branch_plans[g],
            target_abs_frame=plan.perturb_block_abs_frame,
            target_end_frame=plan.perturb_block_end_frame,
        )
        X_g, replay_tuples_g = generate_branch_and_cache_replay_states(old_generator)
        branches.append((X_g, replay_tuples_g))
    X_anchor = generate_anchor_with_default_kv(old_generator)
 
    rewards_local, rewards_global = compute_reward_components(branches, anchor=X_anchor)
    advantages = fuse_anchor_relative_advantages(rewards_local, rewards_global)
 
    # train current policy using replayed velocity scores
    log_pi_old = compute_policy_log_scores(old_generator, branches, replay_tuples)
    log_pi_theta = compute_policy_log_scores(current_generator, branches, replay_tuples)
    ratio = exp(log_pi_theta - log_pi_old)
    clipped = clamp(ratio, 1 - clip_low, 1 + clip_high)
    grpo_loss = -mean(min(ratio * advantages, clipped * advantages))
    kl = discrete_kl(softmax(log_pi_theta), softmax(log_pi_ref))
    loss = anchor_scale * (grpo_loss + kl_coef * kl)
    loss.backward()
    optimizer.step()
    sync_old_policy_at_accumulation_boundary()

这个流程里最容易被忽略的细节是 replay。KVPO 不是直接对生成完的视频算 reward 后反传完整采样图，也不是只比较最终视频 latent；它在 rollout 阶段缓存 perturbed window 内的中间 latent 和 velocity target，再在未扰动上下文里重算当前 policy 的 velocity prediction score。这样，policy update 只依赖有限 replay steps，却仍然把 branch 的相对偏好映射到 ODE velocity field。

4. Experimental Setup (实验设置)

实验覆盖两个 streaming AR video backbones：LongLive 和 MemFlow。设置分为 single-prompt short-video generation 与 multi-prompt long-video generation。指标分两类：一类是 reward-side 指标 VQ、MQ、TA；另一类是 VBench-style 的 Quality、Semantic、Consistency Score、CLIP Score。baseline 包含原始 LongLive/MemFlow 以及 Astrolabe，后者代表 noise-based exploration/post-training 路线。开源配置给出的关键训练设置如下。

MemFlow 与 LongLive 默认 YAML 都使用 K: 8 个并行探索分支、perturb_num_blocks: 5 个连续 perturbed blocks、perturb_within_first_x_chunks: 7 的搜索范围、streaming_chunk_size: 21、streaming_max_length: 147、streaming_min_new_frame: 18。

本地/全局 reward 信号都启用，local_loss_weight: 1.0、global_loss_weight: 0.5，advantage fusion 使用 "std"，ppo_epochs: 1，gradient_accumulation_steps: 2，max_grad_norm: 1.0，ema_decay: 0.999，训练 launcher 从 YAML 读取 num_gpus: 8 与 gpu_ids: "0,1,2,3,4,5,6,7"。

论文 appendix 的 hparam table 还汇总了 32 NVIDIA H200 GPUs、AdamW、learning rate $1\times 10^{-5}$、warmup 5 steps、weight decay 0.01、max train steps 1500、LoRA rank 256、scaling factor 256、dropout 0.0、4 个 denoising timesteps [1000, 750, 500, 250]、local attention size 12、sink size 3、local size 9、gradient-carrying replay steps 2、clip range $(0.1,0.2)$、advantage clip max 2.5。

需要注意一个 paper-vs-code caveat：论文方法部分描述复合 reward 包含 VQ/HPSv3、MQ/VideoAlign、TA/VideoAlign；但当前 cloned repository 的默认 configs/train_kvpo_memflow.yaml 与 configs/train_kvpo_longlive.yaml 中，reward_components 实际启用的是 video_hpsv3 weight 1.0，VideoAlign 的 MQ/VQ/TA 项以注释形式保留，eval_reward_components 默认也只启用 HPSv3。

这并不一定否定论文结果，可能是 release default 为了降低依赖和显存门槛；但复现实验表格时必须检查 release notes 或手动启用对应 reward components。

5. Experimental Results (实验结果)

5.1 Quantitative comparison

主表显示 KVPO 在 short-video 和 long-video 两个 setting、LongLive 和 MemFlow 两个 backbones 上均提升 VQ/MQ/TA，并且大多提升 VBench-style 指标。短视频中，LongLive 从 VQ 8.86、MQ 1.80、TA 0.02 提升到 10.21、1.89、0.06，论文报告相对提升 15.2%、5.0%、200.0%；MemFlow 从 8.83、1.82、0.02 提升到 9.71、1.87、0.03，提升 9.1%、2.7%、50.0%。在长视频 multi-prompt setting 中，LongLive 从 6.34、1.41、-0.19 提升到 8.14、1.50、-0.14，对应 28.4%、6.4%、26.3%；MemFlow 从 6.30、1.39、-0.20 提升到 6.96、1.44、-0.17，对应 10.5%、3.6%、15.0%。

相对 Astrolabe，KVPO 的优势在长视频更明显。LongLive long-video setting 中，Astrolabe 为 VQ 7.26、MQ 1.44、TA -0.18，KVPO 为 8.14、1.50、-0.14；MemFlow long-video 中，Astrolabe 为 6.52、1.35、TA -0.23，KVPO 为 6.96、1.44、-0.17。这个差距符合论文叙事：Astrolabe 的 forward-process/noise-based exploration 更容易改变低层外观，而 KVPO 的 CHR 会改变未来 block 依赖的历史语义，因此对 multi-prompt long-horizon coherence 更有效。

5.2 Qualitative and human study

定性图展示了 LongLive 和 MemFlow 经 KVPO 后在 prompt grounding、物体边界、动作连续性和跨段身份保持上的改进。尤其在多 prompt 长视频里，baseline 容易出现动作突然变化、场景主体漂移或语义转换不连贯；KVPO 的样例更像沿着已有故事线自然推进。论文的人类评测让 32 名受试者在 baseline、Astrolabe 和 KVPO 中按 VQ/MQ/TA 选择更好的结果，KVPO 在 long-video setting 中获得多数偏好。这个 human study 的意义在于补足 reward/VBench 的局限：长视频 coherence 有很多局部指标难以覆盖，人工偏好能更直接反映 storyline 是否自然。

5.3 Ablations

CHR 超参数 ablation 在 LongLive multi-prompt long-video 上展开。Perturbed blocks 为 5 时 VQ/MQ/TA 为 8.14/1.50/-0.14，优于 3 blocks 的 6.92/1.43/-0.18；7 blocks 的 MQ 略高到 1.53，但 VQ 8.10、TA -0.16，没有更均衡。解释是 3 个 blocks 不足以产生明显语义差异，7 个 blocks 增加开销且可能扰动过多历史。Perturbed local KV slots 方面，6/9 slots 最优；3/9 过少导致 branch 相似，9/9 则破坏近邻 anchor，VQ 降到 6.97。Local KV length 固定 9 与随机 {6,9,12} 差异很小，说明稳定布局比随机窗口更重要。Perturbed solver steps 为 2 最均衡；1 步介入不足，3/4 步可能损伤视觉或增加 replay 负担。

Surrogate policy ablation 很关键：将 TVE 替换成 geometric latent ${\ell }_2$ 后，VQ/MQ/TA 为 6.02/1.43/-0.21；TVE 为 8.14/1.50/-0.14。这支持论文的核心论点：branch probability 不能只看最终 latent 的欧氏距离，因为流式视频生成器的真实偏好结构体现在 velocity field 和上下文依赖中。KL penalty ablation 也显示 $\beta =5$ 在 short/long setting 上最稳定；$\beta =0$ 使指标明显崩坏，说明没有 branch-level trust region 时 reward-driven update 容易偏离 pretrained distribution；过大的 20 又限制学习，VQ/MQ/TA 有回落。

5.4 Limitations and caveats

KVPO 的代价是实现复杂度高。它依赖模型内部 KV cache 的可控访问、cache save/restore、perturbation hook、replay tuple 缓存以及 velocity target 的可重算；这对封闭 API 或没有暴露 KV cache 的视频模型不友好。它也依赖 reward 模型质量，尤其 VQ/MQ/TA 的权重和 segment 聚合会决定优化方向；若 reward 不能识别长视频叙事错误，CHR 产生的语义分支也可能被错误排序。

第二个 caveat 是论文结果和开源默认配置之间的潜在差异。论文报告复合 reward 和 32 H200 的实验表，但仓库默认 YAML 更像可运行 release recipe，启用的 reward 是 HPSv3，VideoAlign 相关条目注释掉。读者若要复现 paper table，应把 note 中的 code mapping 作为入口，进一步检查 release branch、checkpoint、prompt dataset 和 reward checkpoints，而不是直接把默认 YAML 当作论文最终实验配置。

6. Code Reading Notes (代码锚点)

Code reference: main @ 68a3743b (2026-05-19)

Paper Concept	Source File	Key Class/Function
Training entry and rollout/update loop	models/memflow/train_kvpo.py, models/longlive/train_kvpo.py	main(), KVPOTrainer.rollout(), KVPOTrainer.train_step()
CHR branch planning	models/memflow/pipeline/diversity_sampling.py, models/longlive/pipeline/diversity_sampling.py	DiversitySamplingPipeline.plan_perturbation(), _build_dispersed_branch_plans(), activate_perturbation()
Actual KV cache perturbation	models/memflow/wan/modules/causal_model.py, models/longlive/wan/modules/causal_model.py	_build_perturbed_local_window(), set_kv_perturbation(), cache update path
Rollout/replay and surrogate policy	models/memflow/trainer/kvpo.py, models/longlive/trainer/kvpo.py	rollout(), _compute_trajectory_log_prob(), _compute_policy_log_scores()
GRPO/PPO loss and discrete KL	models/memflow/trainer/kvpo.py, models/longlive/trainer/kvpo.py	_per_step_branch_log_pi(), _compute_kl_regularizer(), train_step()
Reward wrappers	rewards/rewards.py, rewards/advantage_interface.py	video_hpsv3_score(), videoalign_*_score(), VideoRewardAdvantageInterface
Training configs	configs/train_kvpo_memflow.yaml, configs/train_kvpo_longlive.yaml	K, perturb_num_blocks, reward_components, kl_coef, gradient_accumulation_steps

代码里 DiversitySamplingPipeline.plan_perturbation() 会在前若干 chunks 中寻找 eligible block，要求历史长度足够、older-frame pool 足够、连续 perturbed blocks 能放进同一 chunk。它生成的 plan 包含 K、perturb_block_abs_frame、perturb_block_end_frame、perturb_num_blocks、m_nearest_frames、n_random_frames 和每个 branch 的 selected_older_frame_indices。

随后 activate_perturbation() 把这些索引和 target token range 写入 generator 的 causal model。真正改 KV 的逻辑在 CausalWanModel。当 current token 位于 target range 内时，模型调用 _build_perturbed_local_window()：先取最近 $m$ 帧对应的 KV，再按 selected_older_frame_indices 从临时 cache 中取旧帧 KV，拼成 branch-specific local window；sink KV 和当前 block KV 仍按原逻辑参与 attention。

这个实现与论文的“sink 不动、near frames 保留、older slots 随机路由”一致。代码还维护 kv_bank 与 cache update info，支持 replay 时复用中间状态和恢复未扰动上下文。KVPOTrainer._compute_trajectory_log_prob() 实现 TVE 的工程近似：对 branch replay 的每个 step，取目标 velocity/latent 与 generator 预测之间的 MSE，把 step_lp = -mse / (2 * sigma_t_sq) 累加为 branch log score。

_normalize_policy_log_prob_mode() 将 YAML 中的 policy_log_prob_mode: "per_step" 映射为 legacy 内部模式 "per_step_x"，并明确移除了 latent-L2 policy modeling。train_step() 再把 current/old log scores 做 softmax branch distribution，计算 ratio、clip surrogate、discrete KL 和 optimizer step。

换言之，开源代码的核心确实不是几何 L2，而是基于 replay velocity prediction error 的 per-step policy score。

6.1 Implementation-level interpretation

从实现角度看，KVPO 可以拆成三个状态空间。第一个是“视频状态”：已经生成的 latent blocks 和最终 decode 后的视频片段。它用于 reward 评估，但不是直接反传的主要对象。第二个是“记忆状态”：每个 transformer block 的 KV cache、cross-attention cache、bank cache 以及 local/sink 索引。CHR 的所有探索都发生在这个状态空间里，因此它能改变未来生成条件，却不需要修改 prompt 或训练额外控制器。

第三个是“replay 状态”：perturbed window 内记录的 noisy latent、timestep、velocity target、cache update info。TVE 的梯度主要经过 replay 状态回到当前 generator，而不是把完整 rollout 图保留下来。这种三层状态分离解释了 KVPO 为什么能服务长视频。若直接对完整长视频 rollout 反传，显存会随长度和 branch 数快速爆炸；若只对最终 reward 做黑盒 policy search，又缺少可微 signal。KVPO 的折中是：生成阶段只保存足够重算 policy score 的 replay tuples，更新阶段恢复默认上下文并重放有限步。

这样 reward 可以来自完整视频或局部窗口，但梯度计算集中在几个关键 solver steps 上。代码中的 gradient_accumulation_steps: 2、branch_backward_chunk_size、reward batch size、CPU offload 和 EMA 都是围绕这个折中服务的工程细节。还要注意，论文说“branch 在数据流形上”不是指生成一定无伪影，而是指 branch 的条件信息来自模型自己已经生成的历史，而非外部随机扰动。这个假设成立需要两个前提：历史片段本身质量不能太差；被路由的 older frames 与当前 prompt/场景仍有语义相关性。如果早期历史已经跑偏，CHR 可能把错误语义重新引入未来窗口。

论文通过 sink 保留、near frames 保留、局部窗口长度固定、perturb steps 限制来降低这种风险，但并没有完全消除 reward model 误判或历史污染问题。

6.2 What the code confirms vs. what remains paper-level

开源代码确认了论文最核心的结构：有官方 DiversitySamplingPipeline 规划 branch-specific older frame indices；有 causal model hook 在目标 token range 内拼接 perturbed local KV；有 rollout 产生 branch/anchor，并计算 local/global anchor-relative advantage；有 replay-based per-step log score，且 latent-L2 surrogate 已被移除；有 PPO-style ratio clipping 和 branch-level discrete KL。因此，从 code anchor 看，KVPO 不是只有 README 或伪代码的 paper release，而是提供了可追踪的训练实现。

仍然需要谨慎的是实验完全复现。第一，仓库默认 reward 配置与论文正文的复合 reward 叙述不完全一致，VideoAlign 指标在 YAML 中以注释保留。第二，论文 appendix 的 32 H200 GPU 设置和单节点 YAML 的 8 GPU launcher 需要通过 multi-node 配置或作者 release notes 对齐。第三，HPSv3、VideoAlign、Wan2.1、LongLive、MemFlow 的权重和 prompt 数据集都来自外部下载，复现结果不仅取决于代码 commit，也取决于 checkpoint 版本、reward checkpoint 路径和 prompts 格式。第四，TVE 温度、KL reference、anchor protection mode 等细节会影响 branch probability 的 sharpness 和 policy update 强度；这些值若改变，可能导致 reward 提升和视觉稳定性的 trade-off 不同。

6.3 Practical reuse checklist

如果想把 KVPO 移植到另一套 streaming video generator，最先应检查是否具备以下能力。第一，模型需要有可定位的历史 memory，并能区分 global/sink 与 local/sliding window；如果模型只暴露黑盒 forward，则 CHR 无法实现。第二，生成器要能在 branch 之间保存和恢复 cache state，否则每个 branch 都要从头生成，成本会失控。第三，训练框架要能记录 rollout velocity target 或等价的 flow-matching target；如果模型不是 velocity prediction 形式，TVE 需要改写成该模型原生动力学下的能量。第四，reward 需要支持局部片段和全局片段两种尺度，因为局部 reward 更贴近 perturbed window，全局 reward 才能约束后续传播的故事线。第五，必须有 anchor trajectory，否则 branch advantage 容易把 prompt 难度、视频长度和 reward scale 混入 policy 信号。

这个 checklist 也说明 KVPO 与普通 diffusion RL 的差异。普通 diffusion RL 往往把每个 prompt 的多样性看作多次采样同一 denoising process；KVPO 则把多样性看作“在同一生成历史中选择不同记忆子集”。前者更像局部外观搜索，后者更像因果叙事搜索。对需要长时一致性的任务，例如互动视频、具身世界模型、驾驶场景续写和多段 prompt story generation，后者可能更有优势；对只生成短片或单图的任务，CHR 的额外复杂度未必划算。

7. Takeaways (读后总结)

KVPO 的贡献在于把视频 RL alignment 的抽象问题重新写成 streaming AR generator 的结构问题：探索不是盲目加噪，而是选择哪些历史语义被未来 block 继承；策略概率不是从不存在的 ODE transition density 中硬凑，而是看当前 velocity field 对 branch trajectory 的解释能力。这个视角对后续工作很有启发：凡是模型内部有显式 memory/cache/state 的生成系统，都可能把 RL exploration 放在 memory routing 或 state reuse 上，而不一定放在输入噪声上。

从工程角度看，这篇论文更像“深度侵入模型内部的 alignment recipe”，不适合黑盒调用，但适合开源视频 DiT/AR 系统。它需要能读写 KV cache、保存 branch state、重放中间 latent，并对 reward 计算做 local/global 分段。优点是探索信号与长视频语义更一致；缺点是迁移成本高，且 reward 依赖仍然强。若要在其他 AR 视频模型上复用，最先要确认三件事：模型是否有可分离的 sink/local memory；是否能在不破坏推理的情况下替换 local KV slots；是否能缓存并重放 velocity targets 来构造 TVE。

总体评价：KVPO 是一篇把 GRPO、flow matching ODE、KV cache memory 和 long-video alignment 结合得很紧的论文。它最有价值的部分不是某个单独公式，而是把“长视频语义探索”定位到历史 cache 路由这一可控因果变量上，并用 TVE 为 ODE-native policy optimization 提供了可微、可归一化、能与 reward advantage 配合的 surrogate policy。