RAGEN-2: Reasoning Collapse in Agentic RL

Paper: arXiv:2604.06268 Code: mll-lab-nu/RAGEN Code reference: main @ 20daedc4 (2026-04-14)

1. Motivation (研究动机)

现有 Agentic RL 训练常用 entropy、reward curve、KL 等指标判断训练是否稳定，但 RAGEN-2 指出这些指标漏掉了一个更隐蔽的失败模式：模型的输出仍然“看起来很多样”，却逐渐不再依赖具体输入，而是套用跨 prompt 的固定 reasoning template。论文把这个现象称为 template collapse。它不同于低熵 collapse：低熵 collapse 是每个输入下只输出少数固定答案，而 template collapse 可以维持较高 $H(Z\mid X)$，只是 $Z$ 与输入 $X$ 的互信息 $I(X;Z)$ 下降。

Figure 1 解读：图把 reasoning quality 分成两个轴：横轴是 Mutual Information $I$，表示 reasoning 是否 input-grounded；纵轴是 entropy $H$，表示同一输入下的多样性。右上角是理想状态；左上角就是本文关心的 template collapse：reasoning 字面上多样，但与具体 Sokoban/FrozenLake 状态无关；左下角则是传统低熵 collapse。这个图解释了为什么只看 entropy 会误判训练健康。

本文要解决的具体问题不是“如何让 RL 更稳定”这个泛化目标，而是：如何诊断并缓解多轮 LLM agent 在 RL 闭环采样中逐渐失去 input-dependent reasoning 的过程。这个问题值得研究，因为 agent 任务的 reward 常常由长 horizon、环境随机性、format validity 和 sparse success 共同决定；如果更新信号主要来自 input-agnostic pressure，模型会保留格式化思考模板，却不再根据当前 observation/action history 生成真正相关的 reasoning。

Figure 2 解读：三条曲线分别展示 task success、retrieval-accuracy MI proxy 和 reasoning entropy。No-filter 设置下，MI proxy 很早下降，之后 performance 才恶化；entropy 反而可以升高到很大。因此 failure 的早期信号不是“变得不多样”，而是“多样性失去输入条件”。Top-p SNR-Aware Filtering 保持更高 retrieval accuracy，也带来更高 success。

2. Idea (核心思想)

核心 insight 是：reasoning collapse 的关键不是同一 prompt 下是否多样，而是不同 prompt 是否仍能诱导出可区分的 reasoning 分布。因此，RAGEN-2 用 $H(Z)=I(X;Z)+H(Z\mid X)$ 重新解释 reasoning quality：$H(Z\mid X)$ 只衡量 within-input diversity，$I(X;Z)$ 才衡量 cross-input distinguishability。

关键创新有两层。第一，作者构造无需外部 reward model 的 online MI proxy：把每条 reasoning trace 对 batch 内所有 prompt 做 teacher-forced cross-scoring，用检索准确率、MI estimate、MI-ZScore 等指标近似 $I(X;Z)$。第二，作者用 signal-to-noise ratio 解释 collapse：低 reward variance prompt 的 task gradient 弱，而 KL/entropy 等 regularizer 仍然产生 input-agnostic 更新，于是训练被 template drift 主导；对应地，SNR-Aware Filtering 用 within-prompt reward variance 选择高信号 prompt 更新。

与 DAPO、GRPO、Dr.GRPO 或单纯 entropy/KL tuning 的根本差异在于：这些方法主要调稳定性、优势归一化或接受规则，而 RAGEN-2 显式把“哪个 prompt 的 rollout 产生有效 task signal”作为训练时的选择变量。DAPO 的 acceptance/filtering 可以看成固定选择规则；RAGEN-2 的 Top-p RV filter 则提供可调的 keep-rate $\rho$，并可在低信号 batch 中自动收紧甚至拒绝更新。

3. Method (方法)

3.1 Overall framework: 从信息诊断到 SNR 过滤

Figure 3 解读：左侧先为每个 prompt 采样多条 rollout 并计算 reward；中间按 within-prompt reward variance 分组，低 RV group 被丢弃，中高 RV group 保留；右侧用 Top-p 累计 RV 质量选择 prompt group。注意它不是在单条 trajectory 级别挑 best-of-$N$，而是在 prompt group 级别判断“这个 prompt 是否能产生可区分的训练信号”。

整体训练循环可以抽象为：每个 prompt $x_i$ 采样 $G$ 条 trajectory $z_{i,1:G}$；计算每条轨迹 reward $R(z_{i,k};x_i)$；对每个 prompt 计算 reward variance；按 RV 过滤 prompt group；只把保留 group 的样本送入 PPO/GRPO/DAPO/Dr.GRPO 更新。并行地，CollapseDetector 用 cross-scoring 追踪 $\hat{I}(X;Z)$、retrieval accuracy、conditional entropy 等指标。

直觉上，这个方法把“训练样本是否有用”从 trajectory reward 高低改成了“同一 prompt 下 reward 是否能区分 reasoning choice”。如果一个 prompt 的所有 rollout reward 都几乎一样，无论是都成功、都失败，还是被环境噪声主导，policy gradient 都很难知道哪种 reasoning 更值得强化；此时继续更新只会把 KL、entropy、format pressure 这类与输入内容弱相关的梯度放大。过滤掉这些 prompt 等价于把有限的 rollout/update budget 集中到仍有可学习差异的状态上。

3.2 信息论诊断：Entropy 与 Mutual Information 的分工

论文把 $X$ 定义为当前 turn 之前的完整上下文，包括 system prompt、历史 observation $o_{1:t}$、action $a_{1:t-1}$ 和之前 reasoning token $z_{1:t-1}$；$Z$ 是当前 turn 生成的 reasoning token 序列，不含 action token 与边界 marker。标准 objective 中 KL 和 entropy regularizer 对所有输入近似均匀作用： $\mathcal{L}(\theta )={\mathbb{E}}_{x,\tau }[A(\tau ,x)]-{\lambda }_{\mathrm{KL}}{D}_{\mathrm{KL}}({\pi }_{\theta }\Vert {\pi }_{\mathrm{ref}})+{\lambda }_{H}H({\pi }_{\theta }).$ reasoning entropy 的分解是： $H(Z)=I(X;Z)+H(Z\mid X).$ 其中 $H(Z\mid X)$ 表示同一输入下的输出多样性；$I(X;Z)$ 表示输入和 reasoning 的依赖强度。template collapse 的特征是 $H(Z\mid X)$ 仍高，但 $I(X;Z)$ 下降。论文用 in-batch teacher-forced scorer $q$ 计算每条 trace $z$ 对每个 prompt $x_j$ 的 log-likelihood： ${\ell }_j(z)=\log q(z\mid x_j),{\ell }_{\mathrm{mix}}(z)=\log \left(\frac{1}{P}{\sum }_{j=1}^P\exp ({\ell }_j(z))\right).$ 给定 cross-score 矩阵 ${\mathbf{L}}_{i,k,j}$，主要 proxy 包括： $\mathrm{RetrievalAcc}=\frac{1}{PG}{\sum }_{i,k}1\left[\arg {\max }_j{\mathbf{L}}_{i,k,j}=i\right],$ ${\hat{I}}_{\mathrm{token}}=\frac{1}{PG}{\sum }_{i,k}\left({\mathrm{matched}}_{i,k}-{\mathrm{marginal}}_{i,k}\right),$ 其中 matched 是真实 prompt 下的 per-token log-prob，marginal 是 uniform prompt mixture 下的 per-token log-prob。template collapse 时 retrieval accuracy 会接近 chance level $1/P$。

Figure 4 解读：附录展示多种 MI-family proxy 的训练动态。虽然具体尺度不同，trajectory-level 与 first-turn 的 MI proxy 都能反映 input dependence 的下降；这支持作者把 MI proxy 当作 collapse 诊断，而不是仅依赖某一个 retrieval accuracy 指标。

3.3 SNR 机制：为什么低 RV 会导致 template collapse

Figure 5 解读：左侧说明 task-relevant gradient 依赖 reward variance：同一 prompt 下不同 reasoning chain 的 reward 有差异，才会产生有方向的 gradient contrast。下方的 KL/entropy/token sampling/environment noise 是 task-agnostic 或不可约 noise，会降低 input dependence。右侧用 SNR 图解释：高 task-related gradient 下，update $\Delta {\theta }_t$ 指向较明确；低 task-related gradient 下，update 被不可约噪声和 regularizer 主导，policy 可能漂向与 prompt 无关的模板。

定义 within-prompt reward variance： $\mathrm{RV}(x)=\mathrm{Var}(R(Z;x)\mid X=x),Z\sim {\pi }_{\theta }(\cdot \mid x).$ 令优势 $A(z;x)=R(z;x)-b(x)$，score function $s(z;x)={\nabla }_{\theta }\log {\pi }_{\theta }(z\mid x)$，task gradient 为： $g_{\mathrm{task}}(x)=\mathbb{E}[A(z;x)s(z;x)\mid X=x].$ 论文证明 task-gradient norm 被 RV 控制： $\Vert g_{\mathrm{task}}(x)\Vert \le \sqrt{\mathrm{RV}(x)}\sqrt{\mathbb{E}[\Vert s(z;x){\Vert }^2\mid X=x]}.$ 因此低 RV prompt 的 task gradient 上限很低。另一方面，regularizer gradient $g_{\mathrm{reg}}(x)={\lambda }_{\mathrm{KL}}{g}_{\mathrm{KL}}(x)+{\lambda }_{\mathrm{ent}}{g}_{\mathrm{ent}}(x)$ 不需要用 within-prompt reward differences 加权，因而在不同 RV bucket 上更平坦。论文把总更新写成 $g_{\mathrm{total}}(x)=g_{\mathrm{task}}(x)+g_{\mathrm{reg}}(x)$，并用 dominance ratio $\rho (x)=\frac{\Vert g_{\mathrm{reg}}(x)\Vert }{\Vert g_{\mathrm{task}}(x)\Vert +\Vert g_{\mathrm{reg}}(x)\Vert }$ 说明低 RV 时 regularizer 占比上升。对 GRPO-style normalization，附录进一步指出如果用 $\tilde{A}=A/\sqrt{\mathrm{RV}(x)}$，梯度估计方差下界会含有 ${\sigma }^2(x)/\mathrm{RV}(x)$，低 RV prompt 在归一化后尤其容易产生高噪声估计。

Figure 6 解读：作者把 prompt 按 RV 分成 Q1—Q6。PPO 与 GRPO 中，task gradient norm 随 RV bucket 单调上升；regularizer gradient norm 基本平坦。最低 RV bucket 的 task signal 弱，但 regularizer 仍在，这直接支持“低 SNR 更新会冲淡 input-dependent reasoning”的机制解释。

3.4 SNR-Aware Filtering 的正式定义与实现细节

Top-p SNR-Aware Filtering 的主版本按 reward variance 递减排序。设 $\sigma$ 是排序 permutation，keep rate 为 $\rho \in (0,1]$，则： $k^{\ast }=\min \left\{k:{\sum }_{j=1}^k\widehat{\mathrm{Var}}(R\mid X=x_{\sigma (j)})\ge \rho {\sum }_{i=1}^N\widehat{\mathrm{Var}}(R\mid X=x_i)\right\},$ 保留 $S=\{\sigma (1),\dots ,\sigma (k^{\ast })\}$。Top-k baseline 则固定保留 $\lfloor \rho N\rfloor$ 个最高 RV prompt；Min-p baseline 使用阈值规则；keep-smallest ablation 则反向保留低 RV prompt。

Released code 中 scripts/runs/run_filtering_final.sh 的最终过滤实验显式设定 trainer.total_training_steps=400、micro_batch_size_per_gpu=4、ppo_mini_batch_size=32、algorithm.kl_ctrl.kl_coef=0.001、actor_rollout_ref.actor.kl_loss_coef=0.001、es_manager.train.env_groups=8、es_manager.train.group_size=16，并枚举 reward_variance / reward_sum / entropy / entropy_variance / length 等 filter metric。config/base.yaml 中 actor LR 为 1e-6，critic LR 为 1e-5，entropy coefficient 为 0.001，validation sampling temperature 为 0.5，collapse detection 每 5 step 计算，first-turn 与 multi-turn MI 都开启。

论文公式与 released code 实现差异：没有发现主公式与代码的实质性矛盾，但代码有两个实现细节需要记录。第一，RolloutFilterConfig.top_p_prob_mode 支持 linear 和 softmax；run_filtering_final.sh 沿用 base 的 linear，而 scripts/runs/run_main_table_diff_size.sh 明确覆盖为 softmax。第二，linear top-p 的代码阈值是 value * scores.sum() - selection_eps，并且遇到非正 score 会停止；这比论文正文的理想化累计 RV 公式多了 selection_eps=0.01 与 zero-score handling。

import torch
 
 
def snr_top_p_filter(rewards: torch.Tensor, rho: float = 0.9, include_zero: bool = False, eps: float = 0.01):
    """Code-faithful sketch of ragen/trainer/rollout_filter.py.
    rewards: [P, G] reward matrix for P prompt groups and G rollouts.
    """
    rv = rewards.var(dim=1, unbiased=False)               # rollout_filter_metric=reward_variance
    group_ids = torch.arange(rv.numel(), device=rv.device)
    if not include_zero:
        keep_nonzero = rv.abs() > 1e-10
        rv, group_ids = rv[keep_nonzero], group_ids[keep_nonzero]
    if rv.numel() == 0:
        return torch.empty(0, dtype=torch.long, device=rewards.device)
 
    values, order = torch.sort(rv, descending=True)
    threshold = rho * values.sum() - eps                  # linear top_p mode
    chosen, total = [], 0.0
    for local_idx, score in zip(order, values):
        if total >= threshold or score.item() <= 0:
            break
        chosen.append(local_idx)
        total += float(score)
    if total < threshold:
        return torch.empty(0, dtype=torch.long, device=rewards.device)
    return group_ids[torch.stack(chosen)]

3.5 MI proxy 与 collapse metrics 的实现

ragen/trainer/collapse_metrics.py 的实现与论文表述一致：先把 reasoning trace 对 batch 内所有 prompt 做 cross log-prob，取真实 prompt 列作为 matched，取 logsumexp prompt mixture 作为 marginal，然后计算 MI estimate、retrieval accuracy、conditional entropy 和 reasoning entropy。ragen/llm_agent/ctx_manager.py 负责收集 first-turn prompt/reasoning IDs 与 multi-turn trajectory prompt/reasoning IDs；ragen/llm_agent/agent_proxy.py 把这些非 tensor metadata 放入 rollout batch。

import math
import torch
 
 
def compute_mi_family(cross_log_probs: torch.Tensor, true_prompt_ids: torch.Tensor):
    """Sketch based on CollapseDetector._compute_matched_marginal and retrieval metrics.
    cross_log_probs[n, j] = log q(z_n | x_j).
    """
    n_samples, n_prompts = cross_log_probs.shape
    row = torch.arange(n_samples, device=cross_log_probs.device)
    matched = cross_log_probs[row, true_prompt_ids]
    marginal = torch.logsumexp(cross_log_probs, dim=1) - math.log(n_prompts)
 
    mi_estimate = (matched - marginal).mean()
    conditional_entropy = -matched.mean()
    reasoning_entropy = -marginal.mean()
 
    pred_prompt = cross_log_probs.argmax(dim=1)
    retrieval_acc = (pred_prompt == true_prompt_ids).float().mean()
    chance = 1.0 / n_prompts
    return {
        "mi_estimate": mi_estimate,
        "conditional_entropy": conditional_entropy,
        "reasoning_entropy": reasoning_entropy,
        "retrieval_accuracy": retrieval_acc,
        "retrieval_above_chance": retrieval_acc - chance,
    }

3.6 Training-step integration

ragen/trainer/agent_trainer.py 在 rollout 后调用 self.rollout_filter.filter(batch)，记录 rollout/filter_kept_count、rollout/filter_kept_ratio、rollout/filter_zero_count 等 metrics，再按保留样本计算 advantage 和 policy loss。代码还处理过滤后 batch size 与 num_groups、ppo_mini_batch_size、GPU 数的整除关系，并支持当连续若干 step 无样本保留时触发 early stop。

def train_iteration(batch, rollout_filter, actor, critic, optimizer):
    """High-level sketch of agent_trainer.py around rollout filtering and update."""
    batch, filter_metrics = rollout_filter.filter(batch)
    if batch_is_empty(batch):
        maybe_early_stop(reason="reward_variance_collapse")
        return filter_metrics
 
    batch = make_batch_divisible(batch, divisors=[num_groups(batch), ppo_mini_batch_size, n_gpus])
    rewards = compute_rewards(batch)
    advantages = compute_advantages(rewards, estimator=config.algorithm.adv_estimator)
    loss = actor.policy_loss(batch, advantages)
    if config.actor_rollout_ref.actor.filter_loss_scaling in {"linear", "sqrt"}:
        loss = scale_loss_by_filter_ratio(loss, filter_metrics["rollout/filter_kept_ratio"])
    loss.backward()
    optimizer.step()
    return filter_metrics

Code reference: main @ 20daedc4 (2026-04-14) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
SNR-Aware prompt-group filtering	ragen/trainer/rollout_filter.py	RolloutFilterConfig, RewardRolloutFilter._select_top_groups, RewardRolloutFilter.filter
Rollout filtering inserted into RL update	ragen/trainer/agent_trainer.py	AgentTrainer.fit, self.rollout_filter.filter(batch), filter metrics, batch divisibility logic
MI / entropy collapse detection	ragen/trainer/collapse_metrics.py	CollapseDetector.compute_collapse_metrics, _compute_matched_marginal, _compute_mi_estimate, _compute_reasoning_entropy
First-turn / multi-turn reasoning metadata	ragen/llm_agent/ctx_manager.py, ragen/llm_agent/agent_proxy.py	_build_first_turn_prompt_and_reasoning_ids, to_llm_inputs, include_collapse_data
Main filtering ablations	scripts/runs/run_filtering_final.sh	experiment list over metric/strategy/value/type; ENV="_2_sokoban"; 400 steps; $P=8,G=16$
Main table/model-scale experiments	scripts/runs/run_main_table_diff_algo.sh, run_main_table_diff_model.sh, run_main_table_diff_size.sh	algorithm/model-size overrides, rollout_filter_metric=reward_variance, rollout_filter_value
Default selected config	config/_2_sokoban.yaml, config/base.yaml	_2_sokoban inherits base; LR, entropy coefficient, rollout params, collapse detection, env groups

4. Experimental Setup (实验设置)

4.1 Tasks / datasets / environments

论文采用 RAGEN testbed，覆盖七类环境：Sokoban、FrozenLake、MetaMathQA、Countdown、SearchQA、WebShop、DeepCoder。正文主表主要报告四个代表性任务：Sokoban、FrozenLake、MetaMathQA、Countdown；附录进一步描述 SearchQA/WebShop/DeepCoder。论文没有把所有数据源都写成固定 sample count；对 RL 训练，它更强调每次 rollout-update 的 online sampling 规模：主实验每个环境每 iteration 收集 $K=128$ 条 trajectory，通常组织为 $P=8$ 个 prompt group、每组 $G=16$ 条并行样本。验证配置在代码中使用 es_manager.val.env_groups=512, group_size=1。

Task	Stochastic	Multi-turn	State	Reward
Sokoban	✗	✓	Grid	Dense
FrozenLake	✓	✓	Grid	Binary
MetaMathQA	✗	✓	Text	Dense
Countdown	✗	✗	Text	Binary
SearchQA	✗	✓	Text	Dense
WebShop	✗	✓	Text	Dense
DeepCoder	✗	✗	Text	Dense

4.2 Baselines and variants

比较对象包括 PPO、DAPO、GRPO、Dr.GRPO，不同模型尺度和类型包括 Qwen2.5-0.5B/1.5B/3B/7B、Qwen2.5-3B-Instruct、Llama3.2-3B，以及 Qwen2.5-VL-3B 的 text/image-conditioned 输入。过滤策略比较包括 no filtering、Top-p SNR-Aware Filtering、Top-k fixed-count filtering、Min-p、keep-largest/keep-smallest、trajectory-level filtering、不同 filter metric（reward variance、reward sum、entropy、entropy variance、length）。

4.3 Evaluation metrics

主指标是 validation task success rate。诊断指标包括 Retrieval-Acc 形式的 MI proxy、MI-Est、MI-Seq-Est、MI-ZScore、conditional entropy $H(Z\mid X)$、reasoning entropy $H(Z)$、valid thinking rate、reward variance distribution、filter kept ratio、zero-variance prompt count。Table 9 的 collapse indicator 定义为训练中 validation success rate 是否曾低于 $0.01$。

4.4 Training config and hardware

论文附录写明主实验使用 Qwen2.5-3B，基于 veRL/HybridFlow，在 NVIDIA GPUs 上训练 PPO/DAPO/GRPO/Dr.GRPO，最多 400 rollout-update iterations，并开启 early stopping。主设置每 iteration 采样 $K=128$ trajectories，$P=8$ prompt groups，$G=16$ samples per prompt。交互环境 Sokoban/FrozenLake 最多 5 turns、每 turn 2 actions，即每条 trajectory 最多 10 actions；Countdown/MetaMathQA 是 1 turn、1 action。

优化配置：update batch size 为 32，per-GPU minibatch size 为 4；GAE 使用 $(\gamma ,\lambda )=(1.0,1.0)$；Adam betas 为 $(0.9,0.999)$；actor LR 为 $1\times 10^{-6}$，critic LR 为 $1\times 10^{-5}$；entropy coefficient 为 $0.001$；PPO asymmetric clipping 使用 ${ϵ}_{\mathrm{low}}=0.2,{ϵ}_{\mathrm{high}}=0.28$；invalid structured response 施加 $-0.1$ format penalty。对应 released code 中，scripts/runs/run_filtering_final.sh 覆盖 trainer.total_training_steps=400 micro_batch_size_per_gpu=4 ppo_mini_batch_size=32，并设 algorithm.kl_ctrl.kl_coef=0.001 actor_rollout_ref.actor.kl_loss_coef=0.001 es_manager.train.env_groups=8 es_manager.train.group_size=16；config/base.yaml 提供 model_path=Qwen/Qwen2.5-3B-Instruct、actor/critic LR、entropy coefficient、rollout filter defaults 和 validation temperature 0.5。

Figure 7 解读：训练轨迹图把不同 intervention 的 success / MI / entropy 联合展示，说明作者不是只在最终成功率上做比较，而是把 collapse 过程当成动态现象追踪。MI 先于 success 恶化，是训练监控中更早的 warning signal。

5. Experimental Results (实验结果)

5.1 Main result: SNR-Aware Filtering across algorithms / scales / modalities

Table 4 报告每个 cell 的 baseline peak 和 filter delta。过滤后平均分在所有 variant 上均提升，尤其在小模型、VL 输入和 Sokoban/FrozenLake 上幅度更大。

Variant	Sokoban	FrozenLake	MetaMathQA	Countdown	Average
PPO, Qwen2.5-3B	12.9 (+16.0)	67.0 (+10.9)	92.6 (+0.6)	97.9 (+0.0)	67.6 (+6.9)
DAPO	16.2 (+5.1)	66.8 (+2.1)	90.8 (+2.8)	95.7 (+1.6)	67.4 (+2.9)
GRPO	12.1 (+9.0)	70.9 (-3.0)	91.2 (+1.2)	95.7 (+2.2)	67.5 (+3.7)
Dr.GRPO	12.1 (-0.4)	23.2 (+0.6)	91.2 (+1.4)	96.5 (+1.4)	55.8 (+0.8)
Qwen2.5-0.5B	3.3 (+22.9)	19.5 (+0.0)	10.0 (-0.2)	23.0 (-0.7)	14.0 (+5.5)
Qwen2.5-1.5B	17.0 (+6.2)	36.5 (+1.6)	80.3 (+7.0)	56.6 (+1.6)	47.6 (+4.1)
Qwen2.5-7B	42.4 (+4.9)	85.0 (-0.6)	84.0 (+11.7)	97.7 (+0.3)	77.3 (+4.1)
Qwen2.5-3B-Instruct	22.5 (+14.2)	83.6 (+2.3)	91.2 (+0.4)	96.3 (-0.6)	73.4 (+4.1)
Llama3.2-3B	24.4 (+18.8)	84.6 (-0.2)	86.1 (+3.7)	99.2 (-1.2)	73.6 (+5.3)
Qwen2.5-VL-3B (T)	53.0 (+6.0)	16.0 (+53.5)	-	-	34.5 (+29.8)
Qwen2.5-VL-3B (V)	65.0 (+12.0)	19.5 (+59.5)	-	-	42.3 (+35.8)

Figure 8 解读：FrozenLake stochasticity sweep 展示 Top-p Filtering 在 0%—50% stochasticity 区间保持高于 no filtering 的 median success；到 80%—100% 时差距缩小。这是一个重要边界条件：当环境噪声过强，RV 不再可靠地区分 task signal 与 noise。

5.2 Compute cost and group sampling

Table 5 固定总 rollout budget 为 128，比较不同 $P\times G$ 组织方式。$64\times 2$ 和 $32\times 4$ 过滤后 task performance 分别达到 27.3% 和 27.4%，高于 $128\times 1$ baseline 的 23.6%；同时 step time 从约 90 秒降到 64.9/52.6 秒。论文强调 RV 计算自身增加不到 0.1% iteration time，主要节省来自过滤后更少 group 进入 gradient computation。

$P\times G$	NF Perf	F Perf	Δ	NF Time	F Time	Δ%	NF VRAM	F VRAM	Δ
128×1	23.6	-	-	89.8	-	-	201.80	-	-
64×2	18.8	27.3	+8.6	91.8	64.9	-29%	201.39	201.83	+0.44
32×4	24.2	27.4	+3.2	89.8	52.6	-41%	202.11	201.67	-0.44
8×16	15.6	23.6	+8.0	89.2	65.9	-26%	201.54	201.90	+0.36

5.3 MI beats entropy as a collapse diagnostic

Figure 9 解读：Spearman correlation 显示 MI-family metrics 与 task success 的相关性为正：MI-ZScore 达到 +0.39，MI Seq Estimate 为 +0.22，MI-ZScore (Seq) 为 +0.09，MI Estimate 约为 0。相反，Reasoning Entropy、Reasoning Entropy (Seq)、Conditional Entropy (Seq)、Conditional Entropy 分别约为 -0.11、-0.11、-0.12、-0.14。这说明 entropy 变化不能稳定解释 performance，而 MI 才更接近 task-grounded reasoning。

Figure 10 解读：左图用 valid thinking rate 和 MI 展示 runs 的分布，低 MI 区域出现大量 cluster；右图则显示 conditional entropy 与 performance 的关系更混乱。黑线代表 success trend，说明高 entropy 不必然带来更好 agent 行为。

5.4 RV causal evidence and ablations

Quartile ablation 直接验证 RV 与 signal quality 的因果关系。Sokoban Qwen2.5-3B 中，保留最高 RV 的 Q1 达到 21.1% task performance、MI proxy 0.95；Q2 为 19.5% / 0.93；Q3 降到 10.7% / 0.81；最低 RV 的 Q4 为 11.0% / 0.73。entropy 并不单调解释表现，Q4 entropy 反而为 1.87，高于 Q3 的 1.41。

Quartile	RV Range	Task Perf (%)	MI Proxy	Entropy
Q1 (highest RV)	[4.4, 5.6]	21.1	0.95	2.02
Q2	[1.5, 4.2]	19.5	0.93	1.53
Q3	[0.0, 0.2]	10.7	0.81	1.41
Q4 (lowest RV)	[0.0, 0.1]	11.0	0.73	1.87

Trajectory-level vs prompt-level filtering 进一步排除“只是扔掉坏轨迹”的解释。No filter 使用 8/8 prompts、128 trajectories/update，task perf 12.9%、MI 0.83；prompt-level RV 只用平均 3.2/8 prompts、50.6 trajectories/update，却达到 23.6%、MI 1.80；trajectory-level 保留所有 prompts 但每 prompt 选 top-8/bottom-8 trajectories，64 trajectories/update，task perf 16.8%、MI 0.20。结论是 prompt-level signal selection 比单条轨迹筛选更关键。

Method	Prompts Used	Traj/Update	Task Perf (%)	MI Proxy
No filter	8/8	128	12.9	0.83
Prompt-level RV ($\rho =0.9$)	3.2/8	50.6	23.6	1.80
Trajectory-level	8/8	64	16.8	0.20

Figure 11 解读：Top-p Filtering 的 kept ratio 会随训练下降，zero-var count 上升，reward variance 下降但 success rate 上升；Top-k 固定保留比例，无法适配逐渐变多的无信号 prompt；No Filtering 的 success 最弱。这支持“自适应而不是固定比例”是 SNR-aware 的核心。

Figure 12 解读：四环境曲线显示 Top-p / Top-k / No-filter 的差异并非只存在于单一任务。Top-p 的优势来自随着 RV 分布自动调整 kept groups；Top-k 虽然也偏向高 RV，但保留固定数量，仍可能把低 signal prompt 带入更新。

5.5 Filtering metric and keep-strategy ablation

Table 9 在 Sokoban Qwen2.5-3B 上比较采样阈值、filter metric 和 keep strategy。Sampling 方面，Top-p=1.0 baseline 为 task perf 0.17、MI 0.54、entropy 2.76 且 collapse；Top-p=0.9 提升到 0.38 / 0.84 / 1.64 且稳定；Min-p=0.2 task perf 最高 0.45，但 MI 降到 0.36、entropy 升到 3.01，说明 success 与 input dependence 不总一致；Top-k=0.5 达到 0.44 / 0.89 / 1.47。

Filter metric 方面，reward variance 为 0.38 / 0.84 / 1.64 且稳定；reward sum 为 0.24 / 0.80 / 4.18 且 collapse；entropy 为 0.20 / 0.41 / 2.20 且 collapse；entropy variance 为 0.23 / 0.70 / 2.94 且 collapse；length 为 0.16 / 0.91 / 1.65 且 collapse。Keep strategy 方面，keep-largest baseline 为 0.44 / 0.89 / 1.47 且稳定；keep-smallest 降为 0.29 / 0.47 / 5.31。这个对照最直接地说明：高 RV group 承载的是更有用的训练信号，低 RV group 更像噪声或无信息更新。

5.6 Reward/RV evolution, reasoning compression, and limitations

Figure 13 解读：训练早/中/晚期的 prompt RV 与 reward heatmap 显示，随着 policy 变强，prompt 难度分布移动：hard prompt 比例下降，mixed/easy prompt 上升，很多 prompt 的 reward 更趋同。过滤器因此需要动态收紧，否则会继续在低差异 prompt 上浪费更新预算。

Figure 14 解读：多个任务中 output length 都出现压缩趋势：ManiSkill 与 Navigation 约 -40%，SVG 约 -23%，FrozenLake 约 -29%，MindCube 约 -87%，VSI Bench 约 -66%；Sokoban Top-p Filtering 只约 -5%，而 Sokoban No Filtering 约 -16%。这说明 reasoning compression 是 collapse 的行为表征之一，但 length 本身不是可靠的过滤 metric。

Per-setting RV 统计给出何时 filtering 有效的经验判断：Sokoban 14B 的 Filter Δ 为 +4.6%，Std/Mean=1.29；Sokoban 3B 为 +3.2%，Std/Mean=1.16；FrozenLake 3B (GRPO) 为 -5.0%，Std/Mean=0.33。Std(RV)/Mean(RV) 高时，RV 分布更 bimodal，过滤能分离 signal-rich 与 noise-only prompts；接近 0 时，过滤近似随机丢数据。

主要局限也来自这个机制本身：SNR-Aware Filtering 需要 $G\ge 2$ trajectories per prompt 来估计 RV；当环境随机性极高（论文报告 80%—100% stochasticity）时，RV 可能由 noise 而不是 task signal 主导，过滤优势会消失；当所有 prompt 的 RV 都接近一致时，filter 也难以区分有用 prompt。作者没有声称 RV 是万能质量指标，而是把它定位为便宜、可在线计算、在跨 prompt RV 异质性足够大时有效的 SNR proxy。