From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models

Paper: arXiv:2604.09459 Code: xxzcc/Awesome-Credit-Assignment-in-LLM-RL Code reference: main @ e6a34ab4 (2026-05-16)

1. Motivation (研究动机)

这篇论文的核心问题是：LLM RL 里常见的 outcome-level sparse reward 只告诉我们“整条轨迹成功/失败”，却不能告诉优化器“哪一个 token、step、turn、tool call 或 agent 真正改变了结果”。在 reasoning RL 中，这个问题已经很明显：一个 500—30K+ token 的 CoT 可能只有少数关键推理步骤决定最终答案，但 GRPO/PPO 通常把同一个 episode advantage 发给整条响应。到了 agentic RL，问题变成质变：trajectory 变成 10—100+ turns、100K—1M tokens，环境是 stochastic、partially observable，而且每个 turn 的动作类型从“生成下一个 token”扩展为搜索、读文件、调用 API、写代码、与其他 agent 通讯等异质动作。

论文要解决的不是提出一个新的单一 RL 算法，而是系统回答：从 reasoning 到 agentic 后，credit assignment 的问题结构发生了什么变化，现有方法分别把 credit 分配到哪个粒度，并且在什么条件下会失效或适用。作者把 2024—early 2026 的 47 篇方法分成 41 个 core CA methods 和 6 个 CA-adjacent enablers，并用两个轴组织：granularity（token / segment / step-turn / multi-agent）与 methodology（MC、TD/value、LLM-as-Critic、game-theoretic、information-theoretic 等）。

Figure 1 解读：图中把 LLM RL 分成 RLHF、Reasoning RL、Agentic RL、Multi-Agent 四个阶段。关键趋势不是“任务更难”这么简单，而是 credit 的可定位对象在变粗、轨迹在变长：RLHF 主要靠 dense RM / PPO critic；Reasoning RL 关注单轮 CoT 内 token/step credit；Agentic RL 需要 turn-level / hindsight credit；Multi-Agent 还要跨 agent 分摊 team reward。

这个问题值得研究，是因为它直接决定 agentic training 是否可扩展。若无法定位关键决策，训练会把成功/失败信号均匀扩散到 routine actions 上，导致 sample inefficiency、reward hacking、echo trap、tool-use collapse 或多 agent 梯度不稳定。相反，如果能把 credit 对齐到“真正有 causal impact 的动作”，就能减少 rollout 需求、提高长程任务稳定性，并把 RL 从数学/代码答案验证推进到软件工程、Web navigation、OS control、多 agent 协作等真实环境。

2. Idea (核心思想)

核心洞察是：agentic RL 不是 reasoning RL 的长版本，而是一个 credit assignment problem 的 regime shift。Reasoning CA 通常假设 deterministic generation、full observability、step-level verifiability 和相对短的 single-generation trajectory；Agentic CA 则面对 stochastic transitions、POMDP observation、非可验证中间状态、100+ turn horizon 与 rare-but-decisive bifurcation points。

论文的创新在于提供三类 reusable resources：第一，47 篇方法的 structured taxonomy 和 inventory；第二，面向未来 CA paper 的 reporting checklist；第三，包含 benchmark metadata、controlled bifurcation tasks 与 method selection decision tree 的 benchmark/protocol specification。它把“PRM、counterfactual、critic-free、hierarchical、information gain、multi-agent Shapley”等看似分散的工作放到同一个坐标系里。

与单一方法论文不同，本文的 fundamental difference 是把 credit assignment 从“某个 reward shaping trick”提升为 agentic RL training pipeline 的核心接口。相比 GRPO 这种 episode-level baseline，它强调 credit 需要按任务结构选择 granularity；相比 classical RL credit assignment，它指出 LLM-as-Critic、natural-language retrospective critique、turn-level MDP、cross-agent semantic contribution 这些机制是 LLM 时代特有的设计轴。

3. Method (方法)

3.1 总体框架：多粒度 credit hierarchy + 二维 taxonomy

论文先把一个 agentic trajectory 写成多层结构： $\underset{\text{Episode}}{\underbrace{\tau }}=\underset{\text{Turn level}}{\underbrace{[{\text{Turn}}_1,\dots ,{\text{Turn}}_T]}}=\underset{\text{Segment level}}{\underbrace{[{\text{Seg}}_{1,1},\dots ]}}=\underset{\text{Token level}}{\underbrace{[a_{1,1,1},\dots ]}}.$ 这说明 credit 可以被分配到不同层级：episode、turn、segment、token，甚至在 multi-agent setting 中继续分到 agent-level。GRPO 的 episode-level estimator 是： ${\hat{A}}_i^{\text{GRPO}}=R({\tau }_i)-\frac{1}{G}{\sum }_{j=1}^{G}R({\tau }_j).$ 问题在于，${\tau }_i$ 中所有 token / action 都拿到同一个 ${\hat{A}}_i^{\text{GRPO}}$。对 1-turn reasoning，$L\sim 10^3$—$10^4$ tokens 时还能勉强工作；对 agentic RL，$L\sim 10^5$—$10^6$ tokens、10—100+ turns 时，关键 API 选择和无关格式化动作被等价更新，signal-to-noise ratio 会塌陷。

Figure 2 解读：横轴是 credit 计算方式，纵轴是 credit 分配粒度。蓝色 reasoning methods 集中在 token/segment/step；红色 agentic methods 向 step/turn 和 LLM-as-Critic、game-theoretic、information-theoretic 移动；紫色 multi-agent methods 进一步要求跨 agent credit。虚线箭头表达了作者的主张：领域正在从 fine-grained reasoning credit 迁移到更粗但环境感知更强的 agentic credit。

Figure 3 解读：树状图把 47 个方法按 setting 再按方法族分层。Reasoning RL 包含 token-level、segment-level、step-level；Agentic RL 包含 turn-level PRM、hindsight/counterfactual、critic-free step-level、hierarchical、adjacent enablers；Multi-Agent 则集中在 agent-level credit。这个图的价值是让读者看到“method name”背后的问题分解，而不是把所有 paper 都混成一类 RLHF 改进。

3.2 为什么 agentic RL 让 credit assignment 变难

Table 2 解读：reasoning tasks 通常 1 turn：GSM8K 是 200—800 tokens / 3—10 steps，MATH 是 1,000—5,000 tokens / 5—20 steps，AIME/competition 可到 10,000—30,000+ tokens / 20—100 steps。Agentic tasks 的量级直接上升：ALFWorld/WebShop 是 5—20 turns / 5,000—30,000 tokens；WebArena 是 10—30 turns / 30,000—100,000 tokens；SWE-bench 是 20—100+ turns / 100,000—500,000+ tokens；OSWorld 是 50—100 turns / 200,000—1,000,000 tokens。

Table 3 解读：作者把困难归纳为六类。Reasoning RL 的 transition 是 deterministic、state full observable、intermediate verification often possible；Agentic RL 则是 stochastic、partial observable、heterogeneous action types、non-verifiable intermediate states，并且 bifurcation points rare but decisive。这意味着用同一套 PRM 或 GRPO 逻辑去训练 agent 很容易把“信息缺口”和“决策错误”混淆。

长 horizon 还带来方差问题。论文指出，在带常数 baseline 的 REINFORCE estimator 中，梯度方差约随 $\mathcal{O}(T\cdot \mathrm{Var}[R])$ 缩放；从 $T=10$ 的 reasoning 任务到 $T=100$ 的 complex agentic 任务，达到同等 gradient quality 需要的 rollout 数可能增加约 10 倍。实践中这对应训练不稳定、reward hacking 和 RAGEN/StarPO 所说的 echo trap。

3.3 Reasoning RL 中的 credit assignment 方法族

Reasoning RL 的方法相对成熟，因为轨迹是单轮、可回放、很多任务可验证。论文按粒度组织：

• Token-level：VinePPO 从任意 token prefix fork $K$ 个 continuations，用 MC 估计 $V(s_t)$，再用 $A_t=R(\tau )-V(s_t)$ 给 token 分 credit；RED 读取 reward model hidden states，用轻量 probe 做 token reward redistribution；T-REG 用正确/错误解的 contrastive self-prompting 找 discriminative tokens；From $r$ to $Q^{\ast }$ 说明 DPO 的 log-probability ratio 可被理解为 implicit token-level Q-function。
• Segment-level：SPO 把 CoT 切成 semantic segments，在 segment cutpoint 上做 MC credit；TEMPO 把 reasoning path 建成 tree，在叶子用 MC、内部用 TD-style bootstrap；SCAR 把 segment 当作 cooperative game player，用 Shapley value 衡量 marginal contribution。
• Step-level / PRM：Math-Shepherd 和 OmegaPRM 为 step-level PRM 提供 MC labeling 基础；PURE 提出 min-form PRM，避免 sum-form credit 被 reward hacking；SPRO 用 masked-step advantage 做 leave-one-out；FinePO 把 PRM 推到 sub-step；PRL 从 entropy-regularized RL 推导 process reward；InT 让模型自提 counterfactual interventions；ACPO 把 attribution credit 与 curriculum learning 结合；CAPO 用 LLM 自己生成 natural-language critiques；HICRA 区分 planning tokens 与 procedural tokens。

经典 TD/GAE 公式在论文中作为方法基础出现： ${\hat{A}}_t^{\text{GAE}(\gamma ,\lambda )}={\sum }_{l=0}^{\infty }(\gamma \lambda {)}^l{\delta }_{t+l},{\delta }_t=r_t+\gamma V(s_{t+1})-V(s_t).$ 这组 reasoning methods 的共同假设是：可以从 prefix cheap fork，或者可以拿到 step-level correctness signal。作者明确指出，当这些假设被 agentic RL 打破，VinePPO 的 environment re-execution、PRM 的 step verification 都会变贵或失效。

3.4 Agentic RL 方法族：turn-level、hindsight、critic-free、hierarchical

Table 4 解读：这张表把 6 个 agentic challenge 映射到方法。比如 SWEET-RL 主要利用 partial observability 下训练期可见的 privileged information；HCAPO/C3/CCPO 面向 non-verifiable states 和 bifurcation points；CARL 直接处理 heterogeneous actions 与 bifurcation points；ArCHer、Turn-PPO、SORL 关注 long horizon / turn-level MDP；AgentPRM 用 TD+GAE 处理 stochastic environment 下 MC continuation 太贵的问题。

Turn-level PRM / value methods

AgentPRM 把 reasoning PRM 的 MC step labeling 换成 TD+GAE value estimation，因为 agentic setting 中从中间状态重跑环境意味着重启 sandbox、发 API、执行网页/代码，成本远高于继续生成 token。SWEET-RL 使用 privileged asymmetric critic：训练时 critic 能看见 gold answer、future trajectory 或额外环境状态，actor 推理时仍只看普通 observation。Turn-PPO 把一个 complete LLM response + environment feedback 视作 turn-level macro-action，用 turn-level importance ratio 替代 token-level ratio，降低跨 turn credit 的方差。SORL 进一步处理 off-policy multi-turn 训练中的 granularity mismatch 和 high-variance updates。

Hindsight / counterfactual methods

HCAPO 在 trajectory 完成后让 LLM critic 做 retrospective verification，评估每个 turn 对 outcome 的贡献；C3 用 leave-one-out counterfactual credit： $c_t=R(\tau )-R({\tau }_{\setminus t}),$ 其中 ${\tau }_{\setminus t}$ 表示把第 $t$ 个 turn 的 action 替换为 default 后的 counterfactual trajectory。CCPO 进一步把 turn action 视作 treatment、outcome 视作 effect，用 SCM / ATE 给 counterfactual credit 提供因果解释。CriticSearch 把类似思想用于 search agents，让 frozen asymmetric critique LLM 根据完整轨迹和 gold answers 生成 dense turn-level rewards。

Critic-free / step-level methods

GiGPO 把 GRPO 的 group comparison 从 episode-level 扩展到 step-level：外层还是 trajectory group comparison，内层用 anchor state groups 比较同一轨迹中的 steps，从而不需要 learned value function。POAD 同时做 inter-action 和 intra-action credit，因为 agentic action 本身是 variable-length token sequence。CARL 不试图给所有 action 精确打分，而是用 policy action entropy $H(\pi (\cdot |s_t))$ 找 critical actions，只在 bifurcation points 上更新。IGPO 从 information gain 定义 turn credit： $c_t=\log P(\text{success}\mid h_{1:t})-\log P(\text{success}\mid h_{1:t-1}).$

Hierarchical / infrastructure methods

ArCHer 用 high-level off-policy critic 学 turn-level $Q^H(s_t,a_t)$，低层 actor 仍在 turn 内做 token-level policy optimization；PilotRL 则从 plan-level 到 step-level 再到 token-level progressive cascade；StepAgent 用 inverse RL 从 expert demonstrations 中推断 step-level reward。Agent Lightning、RAGEN/StarPO、SPA-RL、SCRIBE、PRS、AdaptSeg 不是都提出纯 CA 算法，但分别从 decoupled training architecture、uncertainty filtering、MLP progress estimation、skill prototypes、progressive reward shaping、adaptive segmentation 等角度让 agentic credit assignment 更可落地。

Figure 4 解读：决策树把任务 setting 作为第一层分支：Reasoning、Agentic、Multi-Agent。Reasoning 下再看 CoT length 和 compute；Agentic 下先看 horizon，再看是否可用 auxiliary model 或 compute；Multi-Agent 直接指向 M-GRPO、SHARP、MAPPA、Dr. MAS 等跨 agent 方法。作者用 6 个已知 task-method pair 做 retrospective validation，报告 6/6 被这棵树恢复。

Table 8 解读：这张表给出更实用的选择建议：GSM8K/MATH 这类 short deterministic math 可用 GRPO/PURE/SPO/SPRO；AIME/IMO 这类 long CoT 可考虑 VinePPO/HICRA/CAPO；WebShop/ALFWorld 这类 5—20 turn tool-use tasks 偏向 GiGPO/AgentPRM/Turn-PPO；WebArena 这类 POMDP web navigation 偏向 SWEET-RL/HCAPO/IGPO；SWE-bench 这种 50—100+ turn software engineering 需要 CARL/HCAPO/C3/CCPO/ArCHer；compute-constrained training 则偏向 critic-free low-overhead methods。

3.5 Multi-Agent credit assignment

Multi-agent setting 需要同时处理 temporal credit 和 cross-agent credit。M-GRPO 把 credit 分为 inter-agent credit 和 intra-agent credit：前者比较不同 team compositions 的 outcome，后者在每个 agent 内做 GRPO-style advantage。LLM-MCA 用 centralized LLM critic 读完整 interaction history，给每个 agent 的 contribution 生成自然语言评估再转 scalar rewards。QLLM 让 LLM 根据任务描述和样例轨迹生成 Python credit function。SHARP 用跨 agent Shapley value 分解 global reward。MAPPA 给每个 agent action 提供 AI-feedback process rewards。Dr. MAS 则指出 global normalization baseline 会因 agent 分布异质导致梯度不稳定，因此用 agent-wise advantage normalization。

对 multi-agent C3，论文给出的 leave-one-out 形式是： $c_k=R(\tau )-R({\tau }_{\setminus k}),$ 其中 ${\tau }_{\setminus k}$ 是去掉 agent $k$ 后的 counterfactual trajectory。这种形式公平、直观，但当 agent 数 $K$ 增大时需要 $K$ 次 counterfactual evaluation，扩展性仍是 open problem。

3.6 Pipeline 视角：CA 不是后处理，而是训练系统接口

论文把 agentic RL training pipeline 划成五步：environment construction、rollout generation、reward computation、credit assignment、policy update。Credit assignment 会反向影响 rollout efficiency、reward design 和 exploration：CARL 通过只更新 critical actions 可减少 72% gradient updates；PRS 和 IGPO 实际上重写了 reward signal 的密度/形状；而 credit uncertainty 理论上应该引导 exploration，但当前方法还很少把二者结合。

3.7 Companion repo 与 released code 对齐情况

官方仓库 xxzcc/Awesome-Credit-Assignment-in-LLM-RL 在 main@e6a34ab4 是 companion awesome list，不是训练实现。仓库包含 README.md、assets/taxonomy.png、assets/taxonomy_tree.png 和 gen_figures.py；gen_figures.py 使用 Matplotlib 生成 taxonomy grid 和 taxonomy tree，当前没有 RL training loop、benchmark runner、JSON/CSV inventory schema 或 checkpoint/config。

论文公式与 released code 实现差异：论文在 Supplementary Material Release 中承诺 release structured inventory（CSV/JSON）、screening log、taxonomy labels、reporting checklist template、benchmark protocol schema；但截至 main@e6a34ab4，公开仓库主要是 living README + taxonomy figure generator，尚未包含这些结构化 artifact。因此下面的伪代码与 mapping 只锚定 companion repo 的 taxonomy asset generation / method inventory，不把它误写成训练算法实现。

from dataclasses import dataclass
from typing import Literal
 
Setting = Literal["reasoning", "agentic", "multi_agent"]
Granularity = Literal["token", "segment", "step_turn", "multi_agent"]
Methodology = Literal["mc", "td_value", "llm_as_critic", "game_theoretic", "info_theoretic"]
 
@dataclass
class CreditAssignmentMethod:
    name: str
    setting: Setting
    granularity: Granularity
    methodology: Methodology
    requires_aux_model: bool
    compute_level: Literal["low", "medium", "high"]
    benchmarks: list[str]
 
 
def place_on_taxonomy_grid(method: CreditAssignmentMethod) -> tuple[int, int, str]:
    """Reflects the grid encoded by gen_figures.py: column=methodology, row=granularity."""
    col = {
        "mc": 1,
        "td_value": 2,
        "llm_as_critic": 3,
        "game_theoretic": 4,
        "info_theoretic": 5,
    }[method.methodology]
    row = {"token": 4, "segment": 3, "step_turn": 2, "multi_agent": 1}[method.granularity]
    color = {"reasoning": "blue", "agentic": "red", "multi_agent": "purple"}[method.setting]
    return col, row, color

def choose_ca_family(task_setting: str, horizon_turns: int, cot_tokens: int,
                     has_aux_model: bool, compute_budget: str) -> list[str]:
    """Paper Figure 4/Table 8 distilled into executable decision logic."""
    if task_setting == "multi_agent":
        return ["M-GRPO", "SHARP", "MAPPA", "Dr. MAS", "LLM-MCA"]
 
    if task_setting == "reasoning":
        if cot_tokens <= 5_000:
            return ["GRPO", "PURE", "SPO", "SPRO"]
        if compute_budget == "generous":
            return ["VinePPO", "SCAR", "CAPO"]
        return ["HICRA", "CAPO", "SPRO"]
 
    if task_setting == "agentic":
        if horizon_turns <= 30:
            if has_aux_model:
                return ["AgentPRM", "SWEET-RL"]
            return ["GiGPO", "CARL", "iStar", "POAD"]
        if compute_budget == "generous":
            return ["C3", "CCPO", "HCAPO", "IGPO"]
        return ["CARL", "HCAPO", "ArCHer"]
 
    raise ValueError(f"unknown setting: {task_setting}")

def generate_companion_taxonomy_assets(methods: list[CreditAssignmentMethod]) -> None:
    """High-level pseudocode for gen_figures.py at main@e6a34ab4."""
    canvas = new_matplotlib_canvas(width=18, height=11)
    draw_grid(columns=["MC", "TD/Value", "LLM-as-Critic", "Game-theoretic", "Info-theoretic"],
              rows=["Token", "Segment", "Step/Turn", "Multi-Agent"])
    for method in methods:
        col, row, color = place_on_taxonomy_grid(method)
        draw_rounded_label(canvas, x=col, y=row, text=method.name, color=color)
    draw_evolution_arrow(start=(1.2, 3.8), end=(4.8, 1.2))
    save(canvas, "assets/taxonomy.png")
 
    tree = new_matplotlib_canvas(width=24, height=16)
    draw_root(tree, "Credit Assignment in LLM RL")
    draw_branch(tree, "Reasoning RL", ["Token-Level", "Segment-Level", "Step-Level"])
    draw_branch(tree, "Agentic RL", ["Turn-Level PRM", "Hindsight/Counterfactual",
                                      "Critic-Free/Step-Level", "Hierarchical", "Adjacent Enablers"])
    draw_branch(tree, "Multi-Agent", ["Agent-Level"])
    save(tree, "assets/taxonomy_tree.png")

Code reference: main @ e6a34ab4 (2026-05-16) — pseudocode and mapping based on this commit

Paper Concept	Source File	Key Class/Function
Figure 2 二维 taxonomy grid	gen_figures.py; assets/taxonomy.png	make_taxonomy_grid(), draw_label()
Figure 3 hierarchical taxonomy tree	gen_figures.py; assets/taxonomy_tree.png	make_taxonomy_tree()
Living method inventory / paper list	README.md	sections: Credit Assignment in Reasoning RL, Credit Assignment in Agentic RL, Multi-Agent Credit Assignment
Survey companion metadata	README.md	arXiv badge, survey citation block, update log
Missing structured release artifacts	not present in this commit	no CSV/JSON inventory, no benchmark schema, no screening log files

4. Experimental Setup (实验设置)

这篇论文是 survey + taxonomy，不是新模型训练论文，因此没有自己的 GPU training run、learning rate、batch size 或 launch config。可复现对象是文献筛选、taxonomy coding、benchmark/result extraction、checklist validation 与 companion repo figures；训练配置只能来自被综述的原论文，本文不声称统一复现实验。

• Literature corpus / 数据规模：覆盖 January 2024 到 April 2026 的 LLM RL credit assignment 方法；通过 arXiv、Semantic Scholar、Google Scholar keyword search，结合 VinePPO、ArCHer、GRPO、DeepSeek-R1 等 foundational works 的 forward/backward citation chasing，以及 NeurIPS、ICML、ICLR、ACL 2025 和 HuggingFace Daily Papers 监控。最终纳入 47 篇：41 core CA methods + 6 CA-adjacent enablers。
• 分类标签：Type 包含 C（core CA）与 E（CA-adjacent enabler）；Setting 包含 R（Reasoning RL）、A（Agentic RL）、M（Multi-Agent）；Granularity 包含 token、segment、step、turn、multi-agent；Baseline family 包含 GRPO、PPO、DPO、ORM、TD；Evidence level 包含 strong empirical、limited but suggestive、primarily analytical。
• Benchmarks：Reasoning side 包括 GSM8K（8.5K test problems）、MATH（5K problems, 5 difficulty levels）、AIME、CodeContests；Agentic side 包括 WebArena、Mind2Web、WebShop、ToolBench、API-Bank、Gorilla、SWE-bench、HumanEval+、MBPP+、ALFWorld、ScienceWorld、Minecraft、ChatDev、MetaGPT evaluation suites。
• Baselines / metrics：论文不统一重跑 baseline，而是从原论文抽取相对各自 episode-level baseline 的 gains；常见 baseline 是 GRPO/PPO/DPO/ORM，metrics 包括 accuracy/success rate/F1/reward/pass rate 等。作者强调不同 base model、training data、hyperparameters 不可直接横比，最有意义的是同一 paper 内相对 baseline 的 $\Delta$。
• Reporting checklist validation：作者用 HICRA（reasoning）、GiGPO（agentic）、M-GRPO（multi-agent）三篇代表性论文测试 checklist，检查 base model、training data source/size、credit granularity、methodology family、episode baseline、compute-controlled baseline、CA ablation、benchmark split、variance/CI、GPU-hours、CA overhead、trajectory length 等项目是否报告。

Table 12 解读：三篇代表论文普遍报告 base model、credit granularity、methodology family 和 episode-level baseline；但 compute-controlled baseline、variance / confidence intervals、total GPU-hours、CA-specific overhead 经常缺失。这个表支撑作者的一个重要批评：当前 CA 论文的结果表面上很多，但可比较性和可复现性不足。

5. Experimental Results (实验结果)

5.1 Quantitative results: reasoning RL

Table 6 解读：reasoning methods 在各自 baseline 上有稳定但不完全可比的提升。SPO 在 MATH-500 上从 GRPO 75.2% 到 82.8%（+7.6），在 GSM8K 上从 45.7% 到 56.7%（+11.0）；SPRO 在 MATH-500 上 +1.8，在 AMC 上 +8.3；CAPO 在 MATH-500 上 +3.8，在 AIME’24 上 +6.1；HICRA 在 AIME’24 上从 68.5% 到 73.1%（+4.6），在 AIME’25 上从 60.0% 到 65.1%（+5.1）。PURE 报告 Qwen2.5-Math-7B 在 MATH-500 82.6%、AIME’24 20.0%，但表中没有同表 baseline。

5.2 Quantitative results: agentic RL

Table 7 解读：agentic subset 的相对提升更大但 confound 更多。GiGPO 在 ALFWorld success 上从 GRPO 77.6% 到 90.2%（+12.6），在 WebShop success 上分别 +9.1 和 +10.6；CARL 在 HotpotQA F1 上 +4.9，在 2WikiMQA F1 上 +5.3；SWEET-RL 在 ColBench Backend 上从 MT-DPO 34.4% 到 40.4%（+6.0）；Turn-PPO 的 WebShop reward 从 0.72 到 0.75（+0.03）；AgentPRM 在 WebShop @8×8 上从 ORM 57.0% 到 76.0%（+19.0），在 TextCraft @8×8 上从 43.3% 到 56.7%（+13.4）。作者把这些结果解读为“limited but suggestive”：在 GRPO-baseline methods 中，agentic subset mean $\Delta$ 是 +8.5（$n=5$），reasoning subset 是 +6.0（$n=8$）；去掉 single outlier 后为 +7.5 vs. +4.5。

5.3 Ablation / synthesis findings

论文没有统一的 controlled ablation suite，而是跨论文抽取四个 trade-offs：

1. Granularity vs. computational cost：token-level credit 更精确但更贵；VinePPO 需要 $\mathcal{O}(K\cdot L)$ additional forward passes，SCAR/Shapley 需要组合评估。Turn-level methods 是 agentic RL 的 practical sweet spot。
2. Forward estimation vs. hindsight analysis：PRM/VinePPO/AgentPRM 从当前状态估计 value；HCAPO/C3/CCPO 在 trajectory 后回看，信息更充分但有 latency 和 hindsight bias。
3. Auxiliary model requirements：CARL/iStar/GiGPO 不需要辅助模型；SPA-RL 只需轻量 MLP；ArCHer/AgentPRM/PURE 需要 critic/PRM；CAPO/HCAPO/LLM-MCA 需要 LLM-scale evaluation。
4. Reasoning-specific vs. agent-general：VinePPO/PURE/HICRA 利用了 deterministic transitions 和 verifiable steps；HCAPO/SWEET-RL/CARL/GiGPO 更少依赖这些 reasoning-only 假设。

Figure 5 解读：2024 H1 以 reasoning papers 为主，2025 H2 agentic papers 明显上升，2026 Q1 已出现 multi-agent 与 counterfactual credit 热点。作者特别标注 March 2026 一周内出现 3 篇 counterfactual CA papers（HCAPO、C3、CCPO），把它视为 agentic credit assignment 正在形成 community convergence 的信号。

5.4 Limitations and Threats to Validity

作者明确列出五类 limitations / threats：多数论文仍是 arXiv preprints，方法和结果可能变化；搜索可能漏掉非索引 venue、industry reports 或 cutoff 后 concurrent preprints；表格中的 quantitative results 跨 base model、benchmark 和训练 recipe，不能当作 controlled comparison；taxonomy 边界有 judgment calls；所有 screening、classification、evidence-level coding 由单作者完成，有 single-coder limitation。

更实质的 open problems 包括：ultra-long horizon agents 已经达到 50—100+ turns / 100K—500K tokens，当前 5—30 turn method 可能不够；open-world agents 缺少 binary terminal reward；multi-agent 系统扩展到几十个 specialist 后，leave-one-out counterfactual 的 $K$ 次评估不可扩展；credit assignment 与 exploration 仍缺少统一理论；给定固定 compute budget 时，到底应该多 rollout + 粗 credit，还是少 rollout + 精细 credit，尚无类似 scaling law 的答案。

5.5 Overall conclusion

论文的结论可以压缩为一句话：从 reasoning 到 agentic，credit assignment 从“如何让 sparse reward 更有用”变成“能否训练长程 agent 的基础设施问题”。Reasoning CA 已经在 PRM、critic-free group comparison、hierarchy-aware step credit 上趋于成熟；agentic CA 正在形成 hindsight/counterfactual、privileged critic、entropy-based critical action identification、turn-level MDP 等新范式；multi-agent CA 则刚进入活跃期，需要处理 communication credit、heterogeneous agent roles 和 scalable decomposition。