VLA-R1: Enhancing Reasoning in Vision-Language-Action Models

Paper: arXiv:2510.01623 Code: GigaAI-research/VLA-R1 Code reference: main @ db9f5ee (2025-12-07)

1. Motivation（研究动机）

VLA-R1 要解决的问题不是“再做一个 VLA 模型”，而是指出现有 Vision-Language-Action（VLA）路线在具身任务里有一个很具体的短板：模型能把图像、语言和动作统一到一个生成式接口里，却常常缺少可检查的中间推理。典型 VLA 从互联网规模图文预训练获得开放词汇语义和跨模态对齐，再通过机器人多任务数据把语义落到动作空间，因此相比传统的模块化感知-规划-控制流水线，它们更容易把“从未见过的物体”“组合式语言指令”和“新场景”迁移到机器人执行上。论文承认这一范式的优势，但认为当前模型在真正需要 disambiguation 的操作场景里仍然容易失败：例如相似颜色的多个碗、重复出现的水果、多个候选容器、微波炉门造成的遮挡、以及同一指令下既要选对目标区域又要给出合理轨迹的场景。

这类失败不是单纯的感知误差。作者强调，很多 VLA 模型会直接输出最终 action、bbox 或轨迹，而没有显式说明它为什么选这个物体、为什么避开某些干扰物、为什么轨迹应从某个起点进入某个终点区域。缺少 step-by-step reasoning 的后果是两层的：第一，模型内部可能并没有稳定地把 affordance constraints、几何关系和容器选择组织成可泛化的规则；第二，训练之后也很难用 reward 去定位“推理过程正确但动作略偏”与“推理过程已经选错目标”之间的差异。对机器人来说，后者尤其危险，因为一个 bbox 的几像素误差可以通过控制闭环修正，但目标类别或落点区域选错通常会导致整次任务失败。

论文的第二个动机来自 post-training。RLVR（Reinforcement Learning from Verifiable Rewards）已经在 VLM/VLM-style reasoning 中显示出可以用可验证信号提升推理和泛化的潜力，例如用结构化答案、视觉 grounding 或可计算任务反馈来训练模型；但 VLA 任务里的 reward 通常更难设计。机器人动作既有空间定位，又有时间顺序，还要求输出格式能被下游执行器解析。若只奖励 IoU，模型可能学到局部区域重叠但轨迹错误；若只奖励点到点距离，模型可能忽略曲线的局部方向和段长比例；若只奖励输出格式，则不会提升真实执行。因此，VLA-R1 的核心动机是把“可解释的 CoT 监督”和“面向 action correctness 的可验证 reward”放到同一个训练管线里，让模型同时学会说清楚、选得准、走得顺。

Figure 1 解读：论文的 teaser 用雷达图/对比图表达 VLA-R1 相比通用多模态模型和已有 VLA/RL 后训练模型，在 in-domain、out-of-domain、仿真和真实机器人维度上更均衡。这里最重要的不是单一指标，而是作者把 affordance localization、trajectory alignment、reasoning trace 和 execution success 视为同一问题的不同投影：如果模型只在离线 benchmark 上 IoU 高，但真实桌面场景抓取失败，说明 reasoning-action alignment 仍然不完整。

论文的贡献可以压缩成三点。第一，提出 VLA-R1：以 Qwen2.5-VL-3B 为视觉语言基础，叠加动作解码和结构化 <think>/<output> 输出，并用 GRPO 做 RL 后训练。第二，提出 VLA-CoT data engine 和 VLA-CoT-13K：使用 Qwen2.5-VL-72B 基于已有 affordance/trajectory 标注生成 13K 条链式推理监督，使模型在 SFT 阶段先学会把视觉证据、目标属性和动作目标连接起来。第三，设计三类可验证 reward：GIoU affordance reward、Angle-Length Augmented Fréchet trajectory reward、format reward，使 RLVR 不只是奖励“答案像不像”，而是分别约束目标区域、轨迹几何和输出可解析性。这个设计使论文更像一篇 VLA post-training 论文，而不是单纯的数据集或模型结构论文。

2. Idea（核心思想）

VLA-R1 的核心思想是把 VLA 任务拆成两条互补的 supervision path：一条是数据层面的 CoT，让模型先学会“看图—读指令—解释目标—输出动作”的中间结构；另一条是优化层面的 RLVR，让模型在 post-training 中通过可计算奖励修正动作质量。二者的角色不同：CoT 主要改善目标消歧和视觉 grounding，RLVR 主要改善连续轨迹和 bbox 的可执行精度。如果只用 CoT，模型可能更会解释但动作仍然偏；如果只用 RL，模型可能追逐 reward 而缺少稳定可解释的推理格式。论文的 ablation 也支持这一点：w/o CoT & RL 的 IoU 为 23.74、Avg distance 为 128.38；CoT only 把 IoU 提到 28.37、Avg 降到 124.60；CoT + RL 进一步达到 IoU 36.51、Avg 91.74。

第一个关键想法是 VLA-CoT-13K。作者不是从零采集带 reasoning 的机器人数据，而是在 ShareRobot 的 affordance 和 trajectory 标注上构造推理解释。ShareRobot 本身来自 Open X-Embodiment 中 23 个精选数据集，覆盖 12 种机器人 embodiment、102 类 manipulation 场景和数百个 primitive actions，并经过人工审核；但它原始标注主要是目标区域和轨迹，不含逐步解释。VLA-R1 用 Qwen2.5-VL-72B 作为 teacher，为 affordance 与 trajectory 两类任务生成中间推理，形成 13K CoT annotations。这样做的优势是成本可控，并且 reasoning 与真实标注对齐：推理不是泛泛描述图片，而是要解释为什么某个区域可抓、为什么路径要绕开干扰物、为什么终点应落在指定容器。

Figure 2 解读：CoT data engine 的作用可以理解为把原本“图片 + 指令 + bbox/trajectory”的监督样本扩展成“图片 + 指令 + 视觉证据链 + 动作输出”。它不是让模型自由发挥长推理，而是把推理绑定到 affordance 和 trajectory annotation 上。这样 SFT 的目标从普通 QA imitation 变成了结构化 imitation：<think> 学任务分解和视觉 grounding，<output> 学可执行的 bbox 或轨迹 JSON。

第二个关键想法是把 reward 分解成可以验证的子目标。对 affordance perception，reward 用 GIoU 而不是只用 IoU，因为 GIoU 在预测框与真值框不重叠时仍然能通过最小 enclosing box 给出惩罚，适合 cluttered tabletop 中的早期训练阶段。对 trajectory prediction，reward 用 Angle-Length Augmented Fréchet distance（论文写作中称 ALAF，公式标签里有 D_ALHF 的拼写不一致），它继承 Fréchet distance 对序列顺序的敏感性，同时加入局部方向角和段长比例。对输出格式，reward 检查是否有 <think>...</think> reasoning segment 和 <output>...</output> action segment，避免 RL 过程中模型为了分数生成不可解析文本。

第三个关键想法是使用 GRPO 而不是传统 PPO/critic-heavy RLHF。GRPO 对同一输入 $q$ 采样一组输出 ${o_{1}, \dots, o_{n}}$ ，用 reward 得到组内分数，再通过组内均值和标准差归一化 advantage： $\hat{A}_{g} = (r_{g} - \overset{r}{ˉ}) / σ_{r}$ 。这样可以避免单独训练 value critic 的复杂度，并把 reward 比较限定在同一 prompt 的候选输出之间。对于 VLA-R1，这一点很自然：同一图像和指令下，多个候选轨迹或 bbox 可以通过 GIoU/ALAF/format 直接排序，模型无需知道全局 reward scale，也能学习哪类 reasoning-action pair 更可靠。

Figure 3 解读：整体架构把视觉 encoder、语言 token、multimodal decoder、reasoning trace 和 action decoder 串起来。论文描述中，图像经过 visual encoder 投影到共享 embedding，语言指令 tokenized 后与视觉 token 融合，decoder 输出结构化 reasoning 和 action prediction；action token 再由 de-tokenizer 映射到连续 7D robot actions（位置、姿态/旋转与 gripper）。这张图说明 VLA-R1 不是把 CoT 当成后处理解释，而是把 reasoning segment 放在动作输出之前，使 reasoning 成为 action generation 的条件。

从实践角度看，VLA-R1 的新意不是提出一个完全新的机器人 backbone，而是给 VLA 后训练提供了一个相对清晰的 recipe：先用高质量 CoT 数据做冷启动，让模型习惯结构化输出；再用可验证 reward 做 GRPO，让格式、区域和轨迹同时被优化；最后在 in-domain、OOD、仿真和真实机器人上验证是否真的提升执行，而不是只看离线语言质量。

3. Method（方法）

3.1 输入输出与模型骨架

给定输入图像和自然语言指令，VLA-R1 的输出被组织成两个部分：<think> 中的中间推理，以及 <output> 中的动作规格。论文在架构层面采用 Qwen2.5-VL-3B 作为 foundation model。Qwen2.5-VL 的视觉路径包含支持原生分辨率和动态视频帧率采样的 Vision Transformer，使用 window attention 和 2D RoPE；视觉 token 通过 MLP merger 软压缩后送入语言 decoder。文本侧使用 Qwen2.5 tokenizer 和标准 decoder stack。VLA-R1 在 multimodal decoder 上方连接 action decoder，把 hidden states 映射到下游控制输出。论文叙述中最终动作是连续 7D robot actions，而 benchmark 里的 affordance 和 trajectory 任务分别以 bbox 与 2D waypoint sequence 作为可评估 action representation。

一个样本的逻辑形式可以写成：输入 $x = (I, c)$ ，其中 $I$ 是图像/场景， $c$ 是语言指令；模型生成 $y = (z, a)$ ，其中 $z$ 是 reasoning trace， $a$ 是 bbox、trajectory 或机器人动作。训练目标不是只最大化 $p (a ∣ I, c)$ ，而是先学习 $p (z, a ∣ I, c)$ ，再用 reward $R (a, z; a^{*})$ 对输出进行 GRPO 优化。这里 $a^{*}$ 是人工标注或数据集中提供的目标 bbox/trajectory， $z$ 则来自 VLA-CoT data engine 生成的中间解释。

3.2 VLA-CoT data engine 与 SFT

VLA-CoT data engine 使用 Qwen2.5-VL-72B 为 affordance 和 trajectory 样本生成 reasoning。作者强调这些 CoT 是“explicitly aligned with affordance and trajectory annotations”：也就是说，推理文本应该围绕真实目标区域、动作起止点和路径约束展开，而不是只写通用场景描述。最终得到的 VLA-CoT-13K 同时具备 affordance、trajectory 和 reasoning 三种标注；相比 UMD（只有 affordance）、VAIT（只有 trajectory）、VLA-IT（trajectory + reasoning）和 ShareRobot（affordance + trajectory 但没有 reasoning），VLA-CoT-13K 的覆盖更完整，并保留 ShareRobot 的 102 个场景和 12 类机器人来源。

SFT 阶段用这批数据监督 <think> 与 <output>。论文认为，CoT 相比 naive QA instruction tuning 的价值在于提供 intermediate supervision：模型需要先说出目标属性、候选物体、空间关系、可抓取区域和轨迹约束，再输出最终动作。这样做可以改善三件事：第一，视觉 grounding 更稳定，因为推理文本会迫使模型引用图像证据；第二，credit assignment 更清楚，因为轨迹错误可以回溯到目标识别、路径规划或格式输出；第三，后续 RL 更稳定，因为模型已经有固定的输出 schema，不会在 RL 初期大量产生不可解析答案。

伪代码如下：

for each ShareRobot sample (image, instruction, ground_truth_action):
    cot = Qwen2.5-VL-72B.generate_reasoning(
        image=image,
        instruction=instruction,
        target=ground_truth_action,
        task_type in {affordance, trajectory}
    )
    formatted_answer = "<think>" + cot + "</think>" + "<output>" + action_json + "</output>"
    add_to_VLA_CoT_13K(image, instruction, formatted_answer)
 
initialize policy from Qwen2.5-VL-3B
SFT policy on VLA-CoT-13K with loss over both reasoning tokens and output tokens

3.3 GRPO 与 RLVR

SFT 之后，VLA-R1 使用 GRPO 做 post-training。对输入 $q$ ，旧策略 $π_{o l d}$ 采样 $n$ 个输出 ${o_{1}, \dots, o_{n}}$ ，每个输出由 reward function 得到 $r_{g}$ 。组内 advantage 为 $\hat{A}_{g} = (r_{g} - \overset{r}{ˉ}) / σ_{r}$ 。第 $g$ 个输出第 $k$ 个 token 的概率比为： $r_{g, k} (θ) = \frac{π _{θ} ( o _{g, k} ∣ q , o _{g, < k} )}{π _{o l d} ( o _{g, k} ∣ q , o _{g, < k} )} .$ GRPO objective 使用 clipped ratio 和 KL penalty： $L_{GRPO} (θ) = - \sum_{g = 1}^{n} \frac{1}{∣ o _{g} ∣} \sum_{k = 1}^{∣ o_{g} ∣} [min (r_{g, k} (θ) \hat{A}_{g, k}, clip (r_{g, k} (θ), 1 - ε, 1 + ε) \hat{A}_{g, k}) - β D_{K L} (π_{θ} ∥ π_{re f})] .$ 这部分的直觉是：同一图像指令下，候选输出彼此竞争；更高 reward 的 reasoning-action pair 增加概率，更低 reward 的输出降低概率；clip 和 KL 防止模型为了局部 reward 过度偏离 reference policy。

3.4 Reward 设计

轨迹 reward 使用 Angle-Length Augmented Fréchet distance。每条轨迹表示为 $T = {p_{i}, t_{i}, ℓ_{i}}$ ： $p_{i}$ 是归一化图像坐标中的 2D waypoint， $t_{i}$ 是该点局部运动方向， $ℓ_{i}$ 是局部段长。ALAF 在所有顺序保持 coupling $Φ$ 上取最大局部代价的最小值： $D_{A L A F} (\hat{T}, T^{*}) = min_{Φ} max_{(i, j) \in Φ} [∥ \overset{p}{^}_{i} - p_{j}^{*} ∥_{2} + λ_{θ} arccos (\frac{t ^ _{i} t _{j}^{*}}{∥ t ^ _{i} ∥∥ t _{j}^{*} ∥}) + λ_{r} lo g (\hat{ℓ}_{i} / ℓ_{j}^{*})] .$ 归一化后轨迹奖励为 $R_{t r aj} = 1 - \tilde{D}_{A L A F} (\hat{T}, T^{*})$ 。它比逐点 L2 更适合机器人轨迹，因为它尊重曲线的时序结构：两个路径即使点集接近，如果局部方向相反、段长比例异常、或绕行顺序不同，ALAF 都会惩罚。

Affordance reward 用 GIoU： $R_{G I o U} = G I o U (\hat{b}, b^{*})$ 。与 IoU 相比，GIoU 在两个框不重叠时仍能提供梯度/排序信号，这对早期 RL 很重要。Format reward 是二值项：输出同时满足 <think>...</think> 和可解析 <output>...</output> 则为 1，否则为 0。论文描述中的整体 reward 是多目标的，但当前开源代码的 robot_bbox_traj_norm.py 实现更具体：bbox 分支把中心形式 bbox 转为 xyxy，计算 GIoU 和 IoU，并设 task_score=(giou+1)/2；trajectory 分支计算 orientation-sensitive discrete Fréchet，默认 lambda_theta=0.25、lambda_ratio=0.10，用 sqrt(2)+lambda_theta*pi+lambda_ratio*log(10) 归一化，设 task_score=1-os_n；最终 final=0.9*task_score+0.1*format_score。这说明代码中 format 是辅助正则，主要权重仍给空间/轨迹正确性。

compute_reward(solution, ground_truth):
    pred = parse_json_between_output_tags(solution)
    gt = parse_json_between_output_tags(ground_truth)
    format_score = has_think_tag(solution) and output_json_is_valid(solution)
 
    if pred and gt are bbox:
        giou, iou = generalized_iou(to_xyxy(pred), to_xyxy(gt))
        task_score = (giou + 1) / 2
    else if pred and gt are trajectory:
        raw = orientation_sensitive_discrete_frechet(pred, gt,
              lambda_theta=0.25, lambda_ratio=0.10)
        denom = sqrt(2) + 0.25*pi + 0.10*log(10)
        task_score = 1 - min(1, raw / denom)
    else:
        task_score = 0
 
    return 0.9 * task_score + 0.1 * format_score

3.5 Code reference mapping

代码仓库在 main@db9f5ee 下包含 README、HuggingFace model/data 下载入口、inference/server 脚本和 RFT training 目录。训练入口是 RFT_training/train_utils/run_vla_r1_3b.sh，调用 python3 -m verl.trainer.main_ppo，设置 algorithm.adv_estimator=grpo，custom_reward_function.path=RFT_training/train_utils/robot_bbox_traj_norm.py，custom_reward_function.name=compute_score。脚本使用 placeholder 路径 path/to/train.parquet、path/to/test.parquet、path/to/your_ref_checkpoints，所以论文笔记中的训练超参只能引用该 launch script 中已显式写出的值，而不能把 README 或 base config 当作真实实验配置。

关键 launch 参数包括：data.train_batch_size=512，data.max_prompt_length=2048，data.max_response_length=2048，data.image_key=images，actor learning rate 3e-5，PPO mini-batch 128，每 GPU micro-batch 10，use_kl_loss=True，kl_loss_coef=0.01，kl_loss_type=low_var_kl，entropy_coeff=0，rollout backend 默认 vllm，tensor_model_parallel_size=2，gpu_memory_utilization=0.6，每个 prompt rollout 数 n=5，trainer.n_gpus_per_node=2，trainer.nnodes=1，trainer.total_epochs=50，save_freq=10，test_freq=5。这些值与论文中的 GRPO/RLVR 描述一致，但代码目前更像可复现实验骨架：模型路径、数据路径和保存路径需要用户自行填入。

Figure 4 解读：case analysis 展示了 VLA-R1 的输出不只是 bbox/trajectory，而是先解释目标、属性和空间关系，再生成动作。对实际部署来说，这类 reasoning trace 的价值有两层：调试时可以看出模型是“看错物体”还是“轨迹生成错”；训练时 format reward 可以强制模型持续保留可读中间过程，避免 RL 后训练把输出压缩成不可解释的短答案。

4. Experimental Setup（实验设置）

4.1 数据集与任务

实验覆盖四类设置：in-domain benchmark、out-of-domain benchmark、simulation 和 real robot。In-domain 训练和评估基于 ShareRobot。ShareRobot 来自 Open X-Embodiment 中 23 个精选数据集，覆盖 12 种 robotic embodiments、102 个 manipulation scenarios 和数百个 primitive actions；数据经过多轮人工审核，保证图像分辨率、任务成功、标注准确和轨迹完整。论文报告 ShareRobot 包含超过 100 万个 planning QA pairs、6,522 张带 affordance annotation 的图像、6,870 张带 trajectory annotation 的图像。VLA-R1 在这些 affordance/trajectory 子集基础上合成 CoT rationales，用于 VLA-CoT-13K。

Out-of-domain 设置用于测泛化。Affordance OOD 使用 UMD Part Affordance subset；UMD 覆盖 gardening、kitchen、workshop 中常见的 105 种工具，论文随机抽取 1,200 个样本，包含 grasp、cut、pound、scoop 四类 affordance。Trajectory OOD 使用 VAIT，即 LLARVA pretraining corpus 的 validation split；VAIT 来自多样化 Open X-Embodiment 数据，论文选择 500 个样本，并手动修正 deviation 过大的轨迹，以保证评估公平。

数据集对比如下：

Dataset	Aff	Traj	Reasoning	Scenes	Robot
UMD	✓	✗	✗	4	—
VAIT	✗	✓	✗	—	13
VLA-IT	✗	✓	✓	24+	2
ShareRobot	✓	✓	✗	102	12
VLA-CoT-13K	✓	✓	✓	102	12

4.2 指标

Affordance perception 使用 IoU，越高越好。Trajectory prediction 把轨迹表示为归一化到 $[0, 1000)$ 的有序 2D waypoints，并报告三类距离：DFD（Discrete Fréchet Distance）衡量整体形状和时序对齐，HD（Hausdorff Distance）衡量最大点偏差，RMSE 衡量平均点误差；论文同时给出 Avg，作为 DFD/HD/RMSE 的整体误差摘要，越低越好。Simulation 和 real-world 使用 Success Rate（SR）。Affordance trial 成功要求目标存在时 bbox 正确定位并成功抓取；若目标不存在，模型应输出 no bbox，也记为成功。Trajectory trial 成功要求机器人按预测路径从指定 start region 到达 target region，并避免碰撞或明显偏离任务约束。

4.3 Baselines 与实现

Benchmark baseline 包含通用多模态指令模型 Gemma-3-12B-it、Gemma-3-27B-it、Phi-4-multimodal-Instruct、Qwen2.5-VL-3B-Instruct、Qwen2.5-VL-32B-Instruct；也包含 VLA/SFT/RL 相关模型 InternVL2-2B、LLaVA-1.6-7B、RoboBrain-7B、NORA-3B 和 ManipLVM-R1-3B。开放模型使用 few-shot prompting 以提供最小 perception prior；VLA-R1-3B 与训练框架相关 baseline 用同类 embodied 数据评估。

仿真实验使用 RoboTwin tabletop simulator。作者构建随机桌面 clutter generator，在每个 trial 中动态改变物体类别、颜色、姿态/位置和桌面颜色；测试 Piper 与 UR5 两种 embodiment，每个 embodiment 10 次独立随机初始化。真实机器人实验设计四个桌面场景：S1 bowl picking，要求从多色 bowls 中抓取指定颜色并放入指定颜色篮/框；S2 fruit picking，要求从重复水果实例中消歧并放入 basket/plate；S3 kitchen scenario，包含 open microwave、plates 和 food props，需要处理门遮挡和腔体空间约束；S4 mixed scenario，同时出现 bowls、produce、baskets、plates，多类别多属性 distractors。每个场景 10 次独立试验，随机初始化物体位姿并打乱场景顺序。

Figure 5 解读：真实场景图强调评估不是单纯离线 bbox，而是把 bbox/trajectory 接到抓取和放置执行。S1/S2 更偏属性消歧，S3/S4 更偏空间约束和遮挡。VLA-R1 在这些场景中的价值在于 reasoning trace 可以提前显式选择目标与容器，而 ALAF/GIoU reward 则让输出对执行器更友好。

Figure 6 解读：仿真图展示 RoboTwin 中的随机桌面设置。由于训练数据完全来自真实场景，仿真环境反而构成 domain shift：物体外观、桌面颜色和初始化分布不同。因此仿真结果主要检验跨环境和跨机器人 embodiment，而不是记忆训练集。

4.4 Source-first appendix figures

以下 appendix/source figures 在 arXiv 源码中以独立 figure* 形式出现但没有额外 caption；它们主要补充数据样例、场景帧或可视化流程。保留这些源图可以帮助读者检查数据覆盖和场景多样性，而不是只依赖正文表格。

Appendix frame1 解读：该源图展示帧级/场景级示例，补充正文中对真实或仿真任务的描述。因为源码没有 caption，解读只基于其在 appendix 中的命名和上下文，不能把它当作额外定量证据。

Appendix frame2 解读：该图继续提供任务帧或交互过程样例，适合用来观察 VLA-CoT 数据和评估场景中目标、容器、障碍物之间的空间关系。

Appendix frame3 解读：该图规模较大，展示更复杂的视觉场景或多步骤示例，有助于理解为什么简单的最终动作监督不足以覆盖多属性消歧。

Appendix frame4 解读：该图补充更多 frame-level 可视化，说明 VLA-R1 面对的不只是单物体检测，而是 instruction-conditioned interaction。

Appendix dataset1 解读：dataset 系列源图补充 VLA-CoT/ShareRobot 数据样例，强调 affordance、trajectory 和 reasoning annotation 的关系。

Appendix dataset2 解读：该图展示另一组数据样例，读者应关注图中目标区域与语言指令之间的对应，而不是只看对象类别。

Appendix dataset3 解读：该图补充 trajectory 类样例，体现有序 waypoint 与任务目标之间的绑定。

Appendix dataset4 解读：该图展示更多数据覆盖，支持作者关于 102 scenes、12 robot sources 和 CoT 数据构造的设定。

5. Experimental Results（实验结果）

5.1 Benchmark 结果

核心 benchmark 表显示，通用多模态指令模型即使参数较大，在 embodied precision 任务上仍然较弱。In-domain 上，Phi-4-multimodal-Instruct 的 IoU 只有 0.58，Gemma-3-27b-it 为 1.32，Qwen2.5-VL-32B-Instruct 为 7.40；这些模型的 trajectory 误差也较高。SFT/VLA baseline 明显更好：RoboBrain-7B 的 in-domain IoU 为 11.79、Avg 为 133.11；NORA-3B 的 IoU 为 23.48、Avg 为 120.45；ManipLVM-R1-3B 的 IoU 为 31.00、Avg 为 110.87。VLA-R1-3B 最好：in-domain IoU 36.51，DFD 106.20，HD 97.90，RMSE 71.12，Avg 91.74。

Method	In IoU ↑	In DFD ↓	In HD ↓	In RMSE ↓	In Avg ↓	OOD IoU ↑	OOD DFD ↓	OOD HD ↓	OOD RMSE ↓	OOD Avg ↓
Phi-4-multimodal-Instruct	0.58	243.92	224.73	189.27	228.21	2.17	240.18	235.44	202.69	226.10
Gemma-3-12b-it	1.18	206.72	190.64	154.96	184.10	4.65	204.94	209.88	175.42	193.75
Gemma-3-27b-it	1.32	257.42	230.29	184.47	224.09	8.20	232.86	268.03	209.25	250.67
Qwen2.5-VL-3B-Instruct	6.15	208.02	179.12	144.14	175.37	23.96	211.80	205.00	140.49	250.67
Qwen2.5-VL-32B-Instruct	7.40	125.54	113.00	85.05	107.86	25.14	182.73	176.51	133.17	164.14
LLaVA-1.6-7B	3.98	184.40	178.00	133.28	165.23	5.90	170.88	167.10	160.79	166.25
InternVL2-2B	6.74	250.20	239.34	194.74	228.09	15.25	165.98	167.84	145.64	157.50
RoboBrain-7B	11.79	156.10	136.52	106.71	133.11	22.00	220.94	214.14	173.02	202.70
NORA-3B	23.48	139.65	126.76	92.97	120.45	22.44	154.81	129.84	95.65	126.77
ManipLVM-R1-3B	31.00	134.18	111.14	87.28	110.87	28.00	146.82	140.52	108.64	131.99
VLA-R1-3B	36.51	106.20	97.90	71.12	91.74	33.96	114.30	98.43	68.97	93.90

OOD 结果更能说明泛化：VLA-R1-3B 的 OOD IoU 为 33.96，DFD 114.30，HD 98.43，RMSE 68.97，Avg 93.90。相比 ManipLVM-R1-3B 的 OOD IoU 28.00、Avg 131.99，VLA-R1 不只是 in-domain fit 更好，也在 UMD/VAIT 分布上保持了更低轨迹误差。这与方法设计一致：CoT 让模型在属性和目标选择上更稳，RLVR 通过 ALAF/GIoU 把轨迹/区域输出推向可执行几何。

5.2 Simulation 与真实机器人

仿真中，VLA-R1 在 Piper 上 affordance SR 为 60%、trajectory SR 为 80%；在 UR5 上 affordance SR 为 50%、trajectory SR 为 60%；平均分别是 55% 和 70%。对比模型 ManipLVM-R1 的仿真表现低得多：Piper affordance 50%、UR5 affordance 30%、平均 40%；trajectory 在 Piper 10%、UR5 0%、平均 5%。这个差距说明 VLA-R1 的轨迹输出比 baseline 更能迁移到模拟物理执行，尤其是 UR5 trajectory 从 0% 到 60% 的差异显示它不是简单 overfit 某个 embodiment。

Model	Task	Piper	UR5	Avg
VLA-R1	affordance	60%	50%	55%
VLA-R1	trajectory	80%	60%	70%
ManipLVM-R1	affordance	50%	30%	40%
ManipLVM-R1	trajectory	10%	0%	5%

真实机器人中，VLA-R1 在四个场景上 affordance SR 分别为 S1 80%、S2 60%、S3 70%、S4 60%，表中平均写作 62.5%；trajectory SR 分别为 60%、80%、80%、80%，平均 75%。ManipLVM-R1 的 affordance 平均为 35%，trajectory 平均为 47.5%。注意这里 affordance 四项按普通算术平均为 67.5%，但论文表格给出 62.5%；笔记保留论文原表数字，不自行修正。这个小不一致不影响主要结论：VLA-R1 在真实抓取/放置场景中明显领先，尤其 trajectory 成功率从 47.5% 到 75%。

Model	Task	S1	S2	S3	S4	Avg
VLA-R1	affordance	80%	60%	70%	60%	62.5%
VLA-R1	trajectory	60%	80%	80%	80%	75%
ManipLVM-R1	affordance	40%	30%	30%	40%	35%
ManipLVM-R1	trajectory	40%	50%	30%	70%	47.5%

5.3 Ablation

Ablation 直接验证了“CoT + RLVR 互补”的叙事。w/o CoT & RL 是基础配置，IoU 23.74、DFD 149.38、HD 135.72、RMSE 100.04、Avg 128.38。加入 CoT 后，IoU 升到 28.37，说明 reasoning supervision 对目标属性、物体选择和 affordance localization 有帮助；但 DFD/HD/RMSE 只小幅改善，说明仅靠解释并不能充分优化路径几何。CoT + RL 后，IoU 升到 36.51，DFD/HD/RMSE 分别降到 106.20/97.90/71.12，Avg 降到 91.74，说明 RLVR 对连续轨迹质量和端到端动作执行贡献更大。

Method	IoU ↑	DFD ↓	HD ↓	RMSE ↓	Avg ↓
w/o CoT & RL	23.74	149.38	135.72	100.04	128.38
CoT only	28.37	145.51	131.26	97.03	124.60
CoT + RL	36.51	106.20	97.90	71.12	91.74

5.4 结论、局限与复现注意点

VLA-R1 的最强证据链是：数据层面补齐 reasoning，优化层面用可验证 reward 对齐 action，结果层面同时在 benchmark、OOD、simulation 和 real robot 上提升。它对后续 VLA 研究的启发是，机器人 reasoning 不应只作为自然语言解释展示，而应成为训练目标和 reward target 的一部分；否则模型可能看似会“回答”，却不能稳定执行。

局限也比较明确。论文指出 VLA-R1 尚未在 bimanual arms 或 quadruped robot dogs 等更多平台上开发和验证，因此 embodiment generalization 仍未完全解决。另一个复现层面的限制来自当前开源仓库：README 已给出 model/data 下载链接和训练入口，但 run_vla_r1_3b.sh 中训练、验证、reference checkpoint 和保存路径仍是 placeholder；仓库没有在顶层提供完整论文实验配置表，reward 代码返回字段也少于 docstring 中列出的所有诊断项。因此，如果要严格复现实验，需要进一步确认 HuggingFace 数据版本、checkpoint、真实 train/val parquet 和环境依赖，而不能只凭 paper 中的高层方法描述。

Paper Notes

探索

VLA-R1: Enhancing Reasoning in Vision-Language-Action Models

VLA-R1: Enhancing Reasoning in Vision-Language-Action Models

1. Motivation（研究动机）

2. Idea（核心思想）

3. Method（方法）

3.1 输入输出与模型骨架

3.2 VLA-CoT data engine 与 SFT

3.3 GRPO 与 RLVR

3.4 Reward 设计

3.5 Code reference mapping

4. Experimental Setup（实验设置）

4.1 数据集与任务

4.2 指标

4.3 Baselines 与实现

4.4 Source-first appendix figures

5. Experimental Results（实验结果）

5.1 Benchmark 结果

5.2 Simulation 与真实机器人

5.3 Ablation

5.4 结论、局限与复现注意点

目录