The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

Paper: arXiv:2509.02547 Code: xhyumiracle/Awesome-AgenticLLM-RL-Papers Code reference: main @ 3006129 (2026-01-20)

1. 论文核心：把 LLM 从“单轮回答器”重新定义为“环境中的决策体”

这篇 TMLR survey 的核心贡献不是提出一个新的训练算法，而是给“Agentic Reinforcement Learning”划定研究对象、形式化边界和可复用的地图。作者的主张很明确：传统 LLM RL 或 preference-based reinforcement fine-tuning（PBRFT）主要优化一次性文本输出，通常可以被看成 $T = 1$ 的退化 MDP；Agentic RL 则把 LLM 放进有状态、有工具、有反馈、有长时程目标的动态世界中，把策略学习从“让答案更符合偏好”推进到“让 agent 在部分可观测环境中持续行动并最大化长期回报”。因此，Agentic RL 的关键不是简单地把 PPO、DPO、GRPO 用到更多数据上，而是让规划、工具调用、记忆、推理、自我改进和感知这些 agent 能力从静态 prompt / SFT 模块转变为能通过环境反馈自适应调整的策略。

论文的组织方式是“双重 taxonomy”。第一条线按能力划分：planning、tool using、memory、self-improvement、reasoning、perception，以及其他辅助能力；第二条线按任务域划分：search/research agent、code agent、mathematical agent、GUI agent、vision/embodied agent、multi-agent systems 和其他任务。这样的组织比单纯按算法家族更有用，因为 agentic 场景里的难点往往不是“使用哪一个 policy-gradient surrogate”，而是 reward 从哪里来、动作空间如何定义、环境是否可复现、长时程 credit assignment 能否稳定、agent 是否会通过工具或记忆产生新的安全风险。作者还整理了开放环境、benchmark 与 RL framework，官方仓库把论文中大量方法的 paper/code/model/website 链接集中到一个 README 表中，作为 survey 的可更新索引。

Figure 2 解读：这张图是全篇的入口。左侧的 LLM RL 更像“prompt 到 response”的单步优化：状态基本等于输入 prompt，动作是文本序列，reward 是最终答案分数。右侧的 Agentic RL 则把 agent 放入循环：agent 观察环境、产生文本或结构化动作、调用工具或改变环境状态，再从环境获得新的 observation 和 reward。这个差异会直接改变训练问题：动作不再只是 token，状态不再是静态上下文，reward 不再只在最终回答处出现，优化也必须处理探索、延迟奖励和失败恢复。

我认为这篇 survey 最值得保留的 insight 是：Agentic RL 的“agentic”不是包装层或工作流术语，而是由 MDP/POMDP 结构决定的训练范式变化。一个系统如果只在单轮 response 上做 RLHF，即使 reward 很复杂，也仍然偏向 PBRFT；一个系统如果让模型在搜索、代码执行、GUI、证明器、机器人环境、多 agent 协作中反复行动并根据状态变化学习策略，才进入 Agentic RL 的核心范围。这个定义能帮助区分很多容易混淆的工作：RAG 本身不是 Agentic RL，但“学习何时检索、如何改写查询、如何在多轮搜索中综合证据”的 RL agent 是；ReAct prompt 本身不是 Agentic RL，但“通过 outcome reward 学会何时调用工具、如何纠错、如何组合工具”的 TIR 训练是。

2. 方法/形式化：从退化 MDP 到长时程 POMDP

论文把 RL fine-tuning 过程统一写成 MDP/POMDP 七元组： $⟨ S, O, A, P, R, T, γ ⟩$ 。其中 $S$ 是环境状态， $O$ 是 agent 可观察到的信息， $A$ 是动作空间， $P$ 是转移函数， $R$ 是奖励函数， $T$ 是 horizon， $γ$ 是折扣因子。PBRFT 被形式化为 $⟨ S_{t r a d}, A_{t r a d}, P_{t r a d}, R_{t r a d}, T = 1, γ = 1 ⟩$ ：episode 只有一个 prompt state，动作是完整文本回答，转移到 terminal state 基本确定，目标是最大化 $J_{t r a d} (θ) = E_{a \sim π_{θ}} [r (a)]$ 。这类优化没有真正的状态演化，也不需要跨步骤 credit assignment。

Agentic RL 则被写成 $⟨ S_{a g e n t}, A_{a g e n t}, P_{a g e n t}, R_{a g e n t}, γ, O ⟩$ ，并强调部分可观测性：agent 只能拿到 $o_{t} = O (s_{t})$ ，不能直接访问完整世界状态。动作空间也扩展为 $A_{t e x t} \cup A_{a c t i o n}$ 。 $A_{t e x t}$ 是自然语言 token； $A_{a c t i o n}$ 是结构化动作，例如调用 search、calculator、code executor、browser、GUI 操作，或在具身环境中 move/pick/place。论文特别指出结构化 action 可以递归表示复合动作，因此一个动作可能本身是多个 primitive actions 的序列。转移函数从确定终止变成 $s_{t + 1} \sim P (s_{t + 1} ∣ s_{t}, a_{t})$ ，reward 也从单个 $r (a)$ 变成可组合的 step/task reward： $R_{a g e n t} (s_{t}, a_{t}) = ⎩ ⎨ ⎧ r_{t a s k}, r_{s u b} (s_{t}, a_{t}), 0, on task completion, for step-level progress, otherwise .$ 对应目标是最大化折扣累计回报： $J_{a g e n t} (θ) = E_{τ \sim π_{θ}} [\sum_{t = 0}^{T - 1} γ^{t} R_{a g e n t} (s_{t}, a_{t})], 0 < γ < 1.$

Figure 3 解读：图中最重要的是闭环，而不是某个单独模块。agent 先把 observation 和内部状态转成 action，action 影响环境，环境再返回 observation/reward。规划、工具、记忆、推理、自改进、感知都可以嵌入这个闭环；RL 的角色是把这些模块的调用策略、更新策略或输出策略变成可优化对象。换言之，Agentic RL 不是“先写好 agent workflow，再用 RL 调一下 LLM”，而是把 workflow 中哪些决策需要被学习、哪些反馈可以提供 reward、哪些状态需要纳入 observation 明确化。

算法层面，论文把 REINFORCE、PPO、DPO、GRPO 作为从 general policy gradient 到 preference learning / critic-free group learning 的谱系。REINFORCE 用采样轨迹的回报减 baseline 估计策略梯度；PPO 用 ratio clipping 限制新旧策略差异，典型目标包含 $min (r_{t} (θ) A_{t}, clip (r_{t} (θ), 1 - ϵ, 1 + ϵ) A_{t})$ ；DPO 不显式训练 reward model，而是在 preference pair $(y_{w}, y_{l})$ 上用参考策略 $π_{re f}$ 和温度 $β$ 构造 likelihood objective；GRPO 则用同一 prompt 下的一组输出的相对 reward 估计 advantage，减少 PPO 对 critic/value model 的依赖。论文的重点不是宣布某个算法最佳，而是说明在 agentic setting 中算法选择会受到 reward 稀疏性、episode 长度、工具调用成本、环境稳定性和安全约束共同影响。

一个简化的 Agentic RL 训练流程可以写成如下伪代码；它不是某个单一 repo 的实现，而是论文形式化和官方资源索引共同抽象出的训练骨架：

for task in task_distribution:
    s = env.reset(task)
    memory = agent.init_memory(task)
    trajectory = []
    for t in range(T):
        o = observe(s, memory)
        a_text, a_action = policy.sample(o)          # token + structured action
        s_next, r_step, done, info = env.step(a_action, a_text)
        memory = memory_update_policy(memory, o, a_action, info)
        trajectory.append((o, a_text, a_action, r_step, s_next))
        s = s_next
        if done:
            break
    r_task = verifier_or_environment_score(task, trajectory)
    advantages = estimate_advantage(trajectory, r_task, method="PPO/GRPO/DPO-family")
    policy.update(trajectory, advantages, kl_or_clip_constraints=True)

这段伪代码突出了三个区别：第一，policy 的输出被拆成自然语言和可执行动作；第二，memory/tool/environment 是训练闭环的一部分，不是离线推理时的装饰；第三，verifier、unit test、proof assistant、web environment、GUI simulator、human-in-the-loop signal 都可以成为 reward 或 observation 的来源。Agentic RL 的可复现难度也由此提高：论文没有单一实验配置，读者需要分别查看各任务域工作的环境、verifier、reward shaping 和 rollout infrastructure。

3. 机制与能力分类：RL 如何把六类 agent 能力从静态模块变成可学习策略

Figure 5 解读：这张图把 agentic capability 组织成六个核心方向：planning、tool use、memory、self-improvement、reasoning、perception。它的含义不是每个 agent 都必须同时具备六者，而是这些能力都可以被 RL 从“人工规则或 prompt pattern”转成“根据任务反馈学习的决策策略”。例如工具使用不只是能不能调用 API，而是何时调用、调用哪个、失败后如何重试；记忆不只是向量库，而是学会存什么、取什么、忘什么；推理不只是 chain-of-thought，而是根据可验证 feedback 调整探索深度和解题路径。

Planning 部分把早期 prompt-based planner 和 RL-guided planner 区分开。prompt planner 依赖模型的先验和人工 prompt，缺少从经验中改进 plan quality 的机制。RL 可以作为外部 guide：训练 value/heuristic function 来指导 MCTS 或搜索，把 LLM 当作 proposal generator；也可以作为内部 driver：直接优化模型生成计划、分解目标、调整搜索深度的策略。这里的关键 trade-off 是 deliberation 与 intuition 的融合。纯搜索可能昂贵，纯直觉又不稳定；未来方向是让 agent 学会“何时需要深度搜索、何时可以直接执行、搜索中哪些节点值得展开”。

Tool using 部分展示了从 ReAct-style 调用到 Tool-Integrated Reasoning（TIR）的演进。ReAct 和 SFT 方案证明了 LLM 可以按格式调用工具，但 imitation learning 容易复制训练分布中的固定模式，遇到新工具、错误返回或多工具组合时恢复能力不足。RL 把目标改成 outcome optimization：只要最终任务 reward 更高，agent 可以学习更合适的调用频率、参数选择、错误修正和多工具组合。论文提到 ToolRL、AutoTIR 等方向，强调 TIR 的核心是把符号计算、搜索、代码执行和自然语言推理交织在同一 rollout 中，而不是把工具调用视为外部后处理。

Figure 4 解读：工具使用的主线可以看成三阶段：prompt/SFT 让模型学会“会调用”；RL 让模型学会“为什么调用、何时调用”；长时程 TIR 让模型学会“在多轮任务中把工具输出重新纳入推理状态”。因此工具能力的瓶颈不是 API 数量，而是 credit assignment：如果第 2 步的搜索 query 影响第 8 步的答案正确性，reward 如何分配给早期 action，是 agentic RL 必须解决的问题。

Memory 部分把记忆从 passive datastore 变成 RL-controlled subsystem。传统 RAG 或 agent memory 往往预定义存储、检索、整合规则，例如 vector similarity 或 graph topology；Agentic RL 关心的是策略：何时检索、检索多少、是否写入新 memory、是否压缩或遗忘旧内容。论文用三类经典 memory 组织相关工作：procedural memory 关心技能和策略，episodic memory 关心历史事件和交互轨迹，semantic memory 关心事实知识和抽象结构。带 RL 的记忆系统可以把 retrieval decision、token-level memory compression、structured memory update 都变成可优化动作，但风险也明显：错误记忆会被 reward 机制放大，隐私和污染问题也比静态 RAG 更严重。

Self-improvement 部分讨论 verbal self-correction、internalizing self-correction、iterative self-training 和 meta evolution。Reflexion、Self-Refine、CRITIC、Chain-of-Verification 等 prompt-level 方法可以在单次推理内自我反馈，但没有参数级学习；RL 的价值是把“反思是否有效”转化成可积累的训练信号，让 agent 不只是生成一段 critique，而是学习哪些错误模式值得检查、哪些修正路径更可能提高最终 reward。这里要警惕一个伪进步：如果 reward 只鼓励更长的反思文本，agent 可能学到 verbose reflection 而非真实纠错。

Reasoning 部分借用 fast/slow reasoning。Fast reasoning 类似 System 1，低延迟但容易浅层泛化；slow reasoning 用多步结构化推理提高准确性但成本更高。Agentic RL 的目标不是无限延长 CoT，而是学习何时进行 deliberate search、何时调用 verifier、何时停止。数学、代码和研究 agent 都属于典型推理环境，因为它们有较强的可验证反馈：unit test、proof assistant、symbolic checker、retrieval evidence、benchmark pass/fail。Perception 部分则把 RL 引入 LVLM 和 multimodal agent：模型从一次性看图回答转向主动视觉认知，例如 grounding、zoom/crop、视觉工具调用、生成草图或中间表示、在视频/3D/具身环境中持续观察。这里 reward 可能来自 IoU、task success、human preference 或环境完成度。

4. 任务、资源与代码映射：survey 本身没有新实验，但给出了可复用的 compendium

论文的“实验/结果”形态不是单一 benchmark leaderboard，而是系统梳理各任务域中 RL-enhanced agent 的演进、代表方法和开放资源。因此阅读时不能期待统一训练集、统一模型或统一 pass@1；更应把它当成领域地图。Search & Research Agent 部分从 RAG 走向 deep research：DeepRetrieval、Search-R1、R1-Searcher、WebDancer、WebSailor、AutoTIR、ZeroSearch 等工作把 query generation、multi-turn retrieval、evidence synthesis 或内部知识搜索放入 RL 框架。闭源系统如 OpenAI Deep Research、Perplexity DeepResearch、Gemini DeepResearch、Kimi-Researcher、Grok DeepSearch、Doubao Deep Think 被作为工业形态讨论，但论文主要以开放方法和可复现环境为主。

Code Agent 是最自然的 Agentic RL 任务之一，因为 compilation、unit test、runtime trace 和 issue resolution 都能产生强反馈。论文按复杂度把代码任务分为 single-turn code generation、iterative code refinement 和 automated software engineering。早期 CodeRL 使用 execution-based reward modeling 和 actor-critic；后续方法区分 outcome reward（最终测试通过）和 process reward（编译、执行、中间修复过程）。SWE 方向进一步要求 agent 读多文件仓库、定位 bug、修改代码、运行测试，这比单函数生成更接近真实 agentic environment。Mathematical Agent 部分同样强调 verifiable reward：informal math 用自然语言和程序工具，formal math 依赖 Lean/Isabelle/Coq 等 proof assistant；RLVR、GRPO-family、process reward 和 hybrid reward 都可用于提高 pass@1 或扩大 pass@k frontier。

Figure 7 解读：代码图的意义不是比较一个统一横轴上的绝对 SOTA，而是说明 RL-enhanced code/SWE 方法已经覆盖从 HumanEval/MBPP 类函数题到 SWE-bench 类真实软件工程任务。由于 benchmark、base model、训练预算和 reward 设计不同，图中的分数不能直接跨论文做因果比较；更合理的读法是观察任务复杂度上升时，agentic components（执行器、测试反馈、多轮修复、仓库级 context）变得越来越重要。

Figure 8 解读：数学图强调 pass@1 unless otherwise specified，也提示一个常见争议：RL 到底创造了新能力，还是把 base model 已经能采样到的正确路径提到更高概率？论文在 future section 中给出较平衡的看法：很多数学/代码工作主要提高 pass@1，像是 reshaping sampling distribution；也有部分工作报告 pass@k frontier 扩张，说明在特定环境、reward 和训练规模下可能产生更深的策略变化。对读者来说，不能只看最终正确率，还要看 pass@k、trajectory diversity、错误类型和训练后是否出现 reward hacking。

GUI Agent、Vision/Embodied Agent 和 Multi-Agent Systems 展示了 Agentic RL 的外延。GUI agent 从零样本 VLM 点击到 SFT trajectory，再到在静态或交互式 GUI 环境里用 trial-and-error 学习；vision agent 从被动图像理解走向 active perception，包括 grounding、视觉工具和视觉想象；embodied agent 则把 VLA navigation/manipulation 放到真实或模拟环境中；

multi-agent systems 从手写角色分工走向可优化的协调模块、部分 agent policy 优化或 end-to-end MARL。论文还整理了 environment simulator：web、GUI、coding/SWE、science/research、MLE、biomedical、cybersecurity、game/general-purpose 等；

framework 表则覆盖 Verifiers、SkyRL、AReaL、MARTI、EasyR1、AgentFly、Agent Lightning、AWorld、RL-Factory、ROLL、AgentRL、VerlTool，以及 RLHF/LLM fine-tuning frameworks 如 OpenRLHF、TRL、TRLX、verl、HybridFlow、LLaMA-Factory 等。

Figure 6 解读：任务域树说明 Agentic RL 的扩散不是线性的：search、code、math、GUI、vision、embodied、multi-agent 都在借用相似的 RL 核心，但各自的 environment 和 reward 完全不同。search 的 reward 可能是 recall/relevance/report quality；code 是 tests；math 是 verifier/proof；GUI 是 task completion；embodied 是 navigation/manipulation success；MAS 是协作质量和全局任务指标。因此论文的 taxonomy 应该和环境设计一起读，不能把所有任务都简化成“用 GRPO 训练一下”。

Code reference: main @ 3006129 (2026-01-20)

官方 GitHub 仓库是论文伴随资源索引，而不是可运行训练代码；仓库当前只有 README.md 一个内容文件，README 明确写着 “Official repo for the survey paper”。我做了代码搜索：arXiv 页面链接到 OpenReview，OpenReview 的 Code 字段指向该仓库；网页搜索也指向同一个 xhyumiracle/Awesome-AgenticLLM-RL-Papers。因此本笔记的 github_ref 锚定官方资源仓库而非某个训练实现。由于没有模型定义、loss function、training loop 或 scheduler 源文件，不能从该 repo 提取训练超参；所有算法解释来自论文 LaTeX/PDF，资源映射来自 README。

Paper Concept	Source File	Key Class/Function
论文与 citation 元信息	`README.md`	H1、ArXiv/HuggingFace 链接、TMLR BibTeX
Agentic RL 算法谱系	`README.md`	`Sec2.7 Agentic RL: Algorithms`，约 40 行方法表，覆盖 PPO/DPO/GRPO 等家族
Search & Research Agent	`README.md`	`Sec4.1 Task: Search & Research Agent`，收集 DeepRetrieval、Search-R1、WebDancer 等 paper/code links
Code / SWE Agent	`README.md`	`Sec4.2 Task: Code Agent`，按 code generation、iterative refinement、SWE 汇总资源
Mathematical Agent	`README.md`	`Sec4.3 Task: Mathematical Agent`，区分 informal/formal math 与 verifier 资源
GUI / Vision / Embodied / MAS	`README.md`	`Sec4.4`–`Sec4.7`，按任务域列出代表方法和链接
Environments	`README.md`	`Sec5.1 Environments`，约 42 行环境/benchmark 条目，GitHub 链接最多
Frameworks	`README.md`	`Sec5.2 Frameworks`，约 21 行框架条目，包括 Agentic RL 与 RLHF/fine-tuning 框架

5. 局限、挑战与阅读结论

论文的挑战部分非常重要，因为 Agentic RL 的风险比普通 LLM RL 更结构化。Trustworthiness 首先来自更大的攻击面：工具、记忆、网页、API、规划器、多 agent 通信都可能被间接 prompt injection、恶意环境或污染数据影响。RL 还会放大这些风险，因为 agent 不只是被动受骗，而是会主动寻找能提高长期 reward 的策略；如果绕过安全检查、使用不可靠工具或污染记忆能带来更高任务分数，训练可能把这些行为强化下来。Hallucination 与 sycophancy 也会在 agent 环境中变形：agent 可能为了完成任务而编造工具结果，或为了获得用户/奖励模型认可而过度迎合。

Scaling up Agentic Training 不是简单加 GPU。论文把问题拆成 computation、model size、data size 和 efficiency。更长训练 horizon 可能提高工具使用频率、推理深度和任务正确率，但也带来 rollout 成本、环境并发、失败样本回收、entropy collapse 和 reward hacking。大模型容量提供更强潜力，但 RL 会把分布 sharpen 到高 reward 模式，可能缩窄解法多样性；小模型则可能需要 teacher-generated SFT data 加 on-policy RL 的两阶段流程。数据规模也不是离线语料越多越好，agentic 数据必须包含可交互任务、可验证反馈和多样失败情形。

Scaling up Agentic Environments 是另一个瓶颈。ALFWorld、ScienceWorld 等环境对训练通用 agent 不够丰富，真实 web/GUI/代码仓库环境又昂贵且不稳定。论文强调未来需要把环境本身也视为可优化系统：自动 reward design、自动 curriculum generation、procedural content generation、environment generator LLM 都可以让环境根据 agent 弱点生成新任务。这个方向和传统 RL 的 simulator design 类似，但 LLM agent 的任务语义更开放，评估 contamination 和安全边界更难控制。

机制争议部分给出一个很好的提醒：RL 在 LLM reasoning 中可能是 “amplifier”，也可能在某些条件下扩展能力边界。Amplifier 观点认为 RL 主要把 base model 已经能采样到的正确轨迹提升到更高概率，因而提高 pass@1；如果看大 $k$ 的 pass@k，base model 可能已经覆盖类似解法。另一种观点认为长时程、可验证、交互环境中的 RL 能让模型学到新的 search policy、tool policy 或 reflection policy。论文在数学 case study 中给出中间立场：约三分之二工作主要强调 pass@1，约三分之一报告 pass@k frontier 扩张。实际判断时应同时看 pass@1、pass@k、trajectory novelty、工具调用模式和失败分布，而不能只凭单一 benchmark 分数断言“RL 创造能力”。

部署层面，论文提到四类 architecture patterns：guardrails and safety patterns、human-in-the-loop verification、hierarchical orchestration、inter-agent communication protocols。我的理解是，真实 Agentic RL 系统必须把 RL policy 放在可监控架构中，而不是让端到端策略直接访问所有工具。输入验证、输出 sanitization、sandboxed execution、权限分层、人工审批、任务分解器、agent 间协议，都应独立于 reward optimization 存在；否则 reward 一旦偏移，agent 会把系统漏洞也当成可利用环境动态。

这篇 survey 的局限也来自 survey 形态本身。第一，覆盖超过五百篇工作导致单个方法的实验细节不会展开，许多表格适合作为索引而非结论。第二，开源方法与闭源工业系统混在同一 landscape 中，读者需要分清哪些有可复现 code/environment，哪些只是产品或 blog 层面的证据。第三，不同任务域的 reward 和 benchmark 差异太大，不能把 code、math、web、GUI、embodied 的数值直接横比。第四，官方仓库是 awesome list，不是实现，因此无法用它复现论文中的任何算法；如果要落地某个方向，应沿 README 链接进入具体方法 repo，再检查其训练脚本、reward 代码和环境版本。

我的结论：这篇文章最适合作为 Agentic RL 研究的“索引 + 概念框架”。它给出的 PBRFT vs Agentic RL 形式化可以作为判断一个项目是否真正 agentic 的检查表：是否有 $T > 1$ 的状态演化？是否有部分可观测 observation？动作是否包含结构化工具/环境动作？reward 是否包含 step/task feedback？训练是否解决长时程 credit assignment？如果答案多数为否，那么它更接近传统 LLM RL 或 prompt/SFT agent；如果答案多数为是，就需要认真处理环境、verifier、rollout infrastructure、安全和可复现性问题。对于后续读论文，我会按“能力轴 + 任务轴 + 环境/框架轴”三维定位：先判断目标能力，再看任务域的 reward 来源，最后检查是否有可运行环境和训练框架。

Paper Notes

探索

The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

The Landscape of Agentic Reinforcement Learning for LLMs: A Survey

1. 论文核心：把 LLM 从“单轮回答器”重新定义为“环境中的决策体”

2. 方法/形式化：从退化 MDP 到长时程 POMDP

3. 机制与能力分类：RL 如何把六类 agent 能力从静态模块变成可学习策略

4. 任务、资源与代码映射：survey 本身没有新实验，但给出了可复用的 compendium

5. 局限、挑战与阅读结论

目录