RoboCOIN: An Open-Sourced Bimanual Robotic Data COllection for INtegrated Manipulation

Paper: arXiv:2511.17441 Code: FlagOpen/RoboCOIN; related pipeline repos: FlagOpen/CoRobot, FlagOpen/RoboCOIN-RTML Code reference: main @ b3261fe7 (2025-12-23); CoRobot main @ acf237e1 (2025-12-09); RTML main @ 4de3e23c (2025-12-02)

1. Motivation（研究动机）

双臂操作是机器人从“单手抓取/放置”走向真实复杂任务的关键能力：许多家庭、商业和工业任务天然需要两只手同时或交替参与，例如双手抬锅、交接碗、把桃子放入抽屉并关闭抽屉、双手整理鞋子、拆装设备、搬运柔性或铰接物体。单臂数据集可以覆盖抓取、放置、推拉等基本动作，但很难表达双臂之间的同步、让渡、支撑、夹持、稳定和时序约束；单平台双臂数据集又常被某一种机械臂、夹爪、相机布局和控制接口绑定，学到的策略容易只适用于一个 embodiment。RoboCOIN 的出发点正是这个缺口：如果要训练能够跨平台迁移的 VLA 或双臂策略，仅有低层轨迹是不够的，还需要多机器人、多场景、多对象、多协作模式的数据，并且需要把“任务为什么这么做、阶段如何切换、每帧运动是否合格”结构化地写进数据。

现有机器人数据集的瓶颈主要有三类。第一是硬件异构性导致的数据规模和可复用性不足：不同双臂机器人在 DoF、末端执行器、相机位置、SDK、坐标系和动作空间上差异很大，同一条“打开微波炉”或“传递碗”的任务不能简单拼接成统一训练集。第二是双臂覆盖不足：BridgeData V2、DROID 等更偏单臂；Open X-Embodiment、RoboMIND 虽然混合多 embodiment，但双臂任务比例和细粒度双臂协作结构不足；AgiBot World Beta、Open Galaxea 等虽然有双臂数据，但多为单平台或 flat annotation，难以解释双臂协作阶段和失败模式。第三是标注层级不足：许多数据集只给出图像、状态和动作，最多配一条自然语言任务描述；模型必须从大量轨迹中隐式推断“当前是接近、抓取、交接还是放置阶段”，这对长时程双臂任务尤其不友好。

RoboCOIN 要解决的具体问题不是提出一个新 policy 架构，而是建立一个可直接服务于多具身双臂学习的开放数据与工具栈。论文报告了 15 个不同机器人平台、180K+ demonstration、421 个结构化双臂任务、16 个真实场景、39 种双臂协作动作、432 类物体，并且按动作协作强度和物体柔性组织任务。更关键的是，它把数据处理也作为贡献：Hierarchical Capability Pyramid 把每条轨迹拆成 trajectory-level、segment-level、frame-level 三层；CoRobot 则用 RTML 质量约束、半自动层级标注、统一机器人接口，把采集、清洗、标注、管理和部署连接起来。这个定位使 RoboCOIN 更像“数据集 + 数据操作系统”，而不是仅发布一批离线文件。

为什么这个问题值得研究？因为双臂机器人学习的核心难点不是单个模型是否足够大，而是数据是否能同时承载三种泛化：跨硬件、跨场景、跨任务阶段。跨硬件要求模型从不同机械形态中抽取共享的双臂协作先验；跨场景要求模型面对光照、背景、物体颜色和对象柔性变化仍然保持稳定；跨任务阶段要求模型知道什么时候从移动切换到抓取、交接、放置，且能避免一个手臂空闲时乱动。RoboCOIN 的实验证明这些结构化数据确实转化为性能收益：在 RoboTwin 2.0 的 unseen embodiment 上，ARX-X5 平均成功率从 17.3% 到 30.4%，Franka Emika Panda 从 8.5% 到 26.6%；在 Realman RMC-AIDA-L 上加入层级能力金字塔后，in-distribution 从 28% 到 43%，OOD 从 22.5% 到 57.5%；RTML 过滤掉 35.3% 低质量轨迹后，GR00T-Fine 相对 Raw 有 22.2% 的相对提升。

Figure 1 解读：这张总览图强调 RoboCOIN 的核心定位是“多具身 + 双臂 + 开放工具链”。图中列出 15 个平台、180K+ 轨迹、421 个任务和 16 个场景，并用 pip install robocoin 暗示它不是静态 benchmark，而是配有下载、加载、可视化和部署接口的工具包。对读者而言，最重要的信息是规模与异构性同时存在：如果只有规模而没有平台多样性，模型难以迁移；如果只有平台多样性而没有结构化标注，模型难以学到协作阶段。

2. Idea（核心思想）

RoboCOIN 的核心思想是：把双臂操作数据从“轨迹集合”提升为“可验证、可标注、可跨具身复用的多层结构”。论文不是只说“收集更多双臂数据”，而是同时回答三个问题：如何设计覆盖低协作与高协作的任务空间，如何把每条轨迹的语义和运动结构层级化，如何在采集后自动检测低质量 demonstration 并把数据封装进统一接口。这一点区别于仅把多数据源聚合起来的做法；RoboCOIN 试图让不同机器人平台的数据以同一种概念结构参与训练。

第一层创新是数据覆盖策略。论文用两个维度组织任务：动作协作强度和物体属性。动作上，低协作任务允许两臂顺序执行，协作强度较弱；高协作任务要求两臂并行、同步或交接，协作强度高。对象上，数据覆盖刚体、铰接物、柔性/可变形物体。这样的 taxonomy 比“厨房/办公室/工厂”场景分类更贴近双臂策略学习，因为模型失败常常发生在协作关系和物体可操作性上，而不是场景名称本身。论文进一步给出动作同义词映射，以减少自然语言标注中的术语歧义。

第二层创新是 Hierarchical Capability Pyramid。它将一条 demonstration 同时表示为三个分辨率：trajectory-level 负责全局任务和场景语义，帮助模型知道“整体要完成什么”；segment-level 把长任务分解为可执行子任务并对齐时间片，帮助模型知道“现在处于哪个阶段”；frame-level 提供运动方向、速度、加速度、夹爪状态等稠密运动标签，帮助模型知道“这一帧动作是否合理”。这种结构的价值在于显式提供长时程任务的中间状态，而不是让模型从 raw video/state/action 中自行发现阶段边界。

第三层创新是 CoRobot + RTML。RTML 把专家规则写成机器可读约束，例如全局速度/加速度上限、局部 workspace、阶段 duration、idle arm 速度、orientation 容差等；RTML evaluator 根据这些规则给轨迹打分或过滤。CoRobot 的 annotation pipeline 则结合 open-vocabulary detector、LLM、规则程序和人工复核，生成 trajectory/segment/frame 三层描述。统一机器人接口建立在 LeRobot 之上，把 vendor SDK、ROS/ROS2、相机配置、坐标对齐、单位归一化和数据管理封装起来。换言之，RoboCOIN 的思想是把数据质量控制和数据语义结构前置到数据集层面，降低模型端为每个 embodiment 单独适配的压力。

与 DROID、Open X-Embodiment 或 AgiBot World Beta 的根本差异在于：RoboCOIN 的主贡献是双臂协作结构，而不是单纯数据量。Open X-Embodiment 有更大的总轨迹量，但覆盖对象和任务的方式主要来自聚合；RoboMIND 有多机器人和语言信息，但双臂协作层级不如 RoboCOIN 明确；AgiBot World Beta 数据规模大，但更偏单平台双臂。RoboCOIN 用 15 个双臂/半人形/人形平台和层级 annotation 来构造“可迁移的协作先验”，这也是为什么实验中特别考察 unseen embodiment、层级描述增益和 RTML 质量过滤三件事。

Figure 2 解读：这张图展示三类代表性采集平台：双臂机器人、半人形机器人、人形机器人。图中还体现 teleoperation 方式的差异，包括 leader-follower arms、可穿戴设备和 motion capture。该图解释了为什么 RoboCOIN 必须做坐标、单位和控制接口统一：同样是“左手移动/右手抓取”，不同平台的关节空间、末端执行器和相机视角完全不同。

Figure 3 解读：统计图把数据规模拆成平台、场景、动作、对象四个维度。关键数值包括 15 个平台、16 个场景、39 种动作、432 类对象；场景覆盖 residential、commercial、working，动作分低协作与高协作，对象分刚体、铰接、柔性等。这个多维覆盖使数据不只是“更多样本”，而是能从任务结构上支持渐进式 skill acquisition。

3. Method（方法）

3.1 数据采集与统一存储

RoboCOIN 的数据采集覆盖 15 个机器人平台，形态包括 dual-arm robots、half-humanoid robots 和 humanoid robots。平台配有头部、腕部、胸部、背部或第三方视角相机；末端执行器既有 parallel gripper，也有 dexterous hand。所有数据均通过 human teleoperation 采集，以保证复杂双臂任务的高成功率和自然性。采集信号包括多视角视觉、关节状态、末端位姿、夹爪状态、动作指令和语言标注。为了跨平台使用，论文规定了统一的物理约定：关节角以 radians 记录，夹爪状态归一化到 0–1，end-effector position 用 meters，orientation 用 Euler angles，坐标系采用 right-handed convention，即 x-forward、y-left、z-up。多模态流通过 timestamp alignment 保持同步。

这种标准化非常重要。对单平台策略来说，直接用平台 SDK 的状态和动作可能足够；但对多平台数据集来说，如果不统一单位和坐标，模型会把“机械臂结构差异”误读为“任务差异”。RoboCOIN 还将数据组织成可复用的 atomic subsets，用 embodiment、task type、environment 等标签切分，使研究者可以按研究问题拼接训练集，例如只取高协作任务、只取含柔性物体任务，或只取某类机器人作为 source domain。

Figure 11 解读：附录任务图给出仿真和真实环境中的代表性设置，例如 Lift Pot、Place Dual Shoes、Peach Drawer、Pass Bowl。它说明 RoboCOIN 的任务不是单步 pick-and-place，而是包含同步抬升、异步放置、手间交接、关闭抽屉等阶段化协作，因此单条自然语言 instruction 很难完整表达执行过程。

3.2 Hierarchical Capability Pyramid

Hierarchical Capability Pyramid 是 RoboCOIN 最重要的结构化设计。三层标注分别服务于不同学习粒度：

• Trajectory-level：描述全局场景、目标、对象关系和整体任务概念，例如“把碗从左手传给右手后放到指定位置”。这一层提供规划语义，适合 VLA 模型理解任务意图。
• Segment-level：将长轨迹切成可执行子任务并对齐时间段，例如 approach、grasp、handover、place、close。它使模型能知道阶段边界和阶段目标，减少长时程行为中的状态混淆。
• Frame-level：为每帧或短窗口提供运动方向、速度、加速度、夹爪状态、末端位姿变化等稠密标签。它帮助模型学习局部控制细节，也能用于质量评估和失败分析。

论文的方法动机是：双臂任务的失败往往发生在中间阶段，而不是最终目标定义。例如 Pass Bowl 中，baseline 可能能识别碗，但卡在手间交接；Peach Drawer 中，baseline 可能知道要放桃子，但精细抓取或关抽屉阶段失败。如果只有 trajectory-level instruction，模型很难知道失败对应哪个子能力；如果只有 frame-level state/action，模型又缺少语义归因。金字塔把二者连接起来，使任务语义、阶段结构和低层运动能够互相解释。

Figure 4 解读：图 4 将三层标注画成从全局到局部的金字塔。上层负责 global concepts，中层负责 executable subtasks，下层负责 dense motion details。最关键的是时间同步：三层不是互相独立的文本，而是对同一条轨迹的多分辨率描述，因而可以在训练时作为语言增强、阶段标签或质量过滤依据。

3.3 CoRobot：RTML、标注管线与统一机器人接口

CoRobot 的三块组成

CoRobot 是构建和使用 RoboCOIN 的数据处理管线，包含三块：RTML evaluation、annotation pipeline、unified robotic interface。

RTML：用 YAML 表达专家约束

RTML（Robot Trajectory Markup Language）用 YAML 形式表达专家约束。全局约束覆盖整条轨迹，例如 linear velocity 最大值、mean_max、linear acceleration 最大值、duration 上下限；局部约束按阶段定义，例如在 move_bowl_right 阶段限制右臂 workspace，在 grasp_long_bread_left 阶段限制左臂 orientation variance，在某一阶段限制 idle arm 的 linear velocity mean 以避免非活动手臂干扰。RTML evaluator 输出质量报告和分数，可用于过滤低质量 trajectory。论文将 RTML 设计原则概括为 motion stability、pose consistency、execution efficiency：轨迹要平滑、姿态要满足任务约束、执行速度不能过快也不能犹豫。

annotation pipeline：三层标注

Annotation pipeline 使用 detector、程序规则和人工修正共同生成三层标注。trajectory-level 用 open-vocabulary detector 定位对象及空间位置，再输入 LLM 生成场景描述和任务语义；segment-level 用 gripper open/close、位姿变化等规则找潜在切分点，再由人工校正并补充子任务标注；frame-level 用 cascaded sliding window 计算位移、速度、加速度和夹爪活动。例如位移可写为 $m_t=x_t-x_{t-n}$，即当前帧 3D 坐标减去前 $n$ 帧坐标；速度和加速度在前一窗口输出上继续计算；最后通过阈值把连续运动量映射成文本标签，如 move direction、velocity level、gripper state。

unified robotic interface

Unified robotic interface 解决硬件接口异构问题。它建立在 LeRobot 之上，把 vendor SDK、ROS/ROS2、相机配置、坐标对齐、关节单位归一化、数据加载和 policy deployment 封装起来。开源 repo FlagOpen/RoboCOIN 的 README 明确说明它兼容 LeRobot 数据格式，并新增 subtasks、scene descriptions、motion descriptions 等 metadata；CLI 通过 robocoin-download 从 HuggingFace 或 ModelScope 下载数据，默认目录为 ~/.cache/huggingface/lerobot/；LeRobotDataset 能加载任务、场景、子任务和各类 end-effector annotations；机器人控制脚本按 src/lerobot/robots 组织，例如 bi_realman 双臂 Realman 配置和控制逻辑。

Figure 5：数据处理框架

Figure 5 解读：CoRobot 图把数据管线拆成 RTML Evaluation、Annotation Toolchain、Unified Robotic Interface。左侧 RTML 用规则评估 trajectory，中间 annotation toolchain 生成 trajectory/segment/frame 标签，右侧接口把 robot control 与 structured data 交给用户。该图说明 RoboCOIN 的“开放”不是只开放网盘数据，而是开放一套从下载到部署的处理链。

Figure 6：annotation pipeline

Figure 10 解读：附录标注管线图更细地展示三层 annotation 的生成方式。trajectory-level 依赖检测器和语言模型生成场景/任务描述；segment-level 通过候选边界与人工修订形成 subtask；frame-level 对运动量做窗口统计和离散化。对复现者来说，这张图说明标注不是纯手工，也不是完全自动，而是 automatic proposal + human refinement。

3.4 开源代码映射与可复现伪代码

Code reference: main @ b3261fe7 (2025-12-23) — pseudocode and mapping based on this commit; related CoRobot main@acf237e1, RTML main@4de3e23c.

Paper Concept	Source File	Key Class/Function
数据发现与下载	FlagOpen/RoboCOIN/src/lerobot/scripts/download.py	build_parser, _download_from_hf, _download_from_modelscope, _ensure_gate_dataset, download_dataset
LeRobot 兼容加载与 metadata	FlagOpen/RoboCOIN/src/lerobot/datasets/lerobot_dataset.py	LeRobotDatasetMetadata.load_metadata, LeRobotDataset, pull_from_repo
子任务/场景/运动 annotation 文件	FlagOpen/RoboCOIN/src/lerobot/datasets/utils.py	load_subtasks, load_scenes, load_eef_velocity_annotation, load_gripper_activity_annotation
数据可视化与 subtask 展示	FlagOpen/RoboCOIN/src/lerobot/scripts/visualize_dataset.py	visualize_dataset, EpisodeSampler, Rerun logging of subtasks
Policy 推理部署	FlagOpen/RoboCOIN/src/lerobot/scripts/inference_naive.py	LocalRobotClient, _prepare_observation, _prepare_action, control_loop
双臂 Realman 统一接口	FlagOpen/RoboCOIN/src/lerobot/robots/bi_realman/	BiRealmanConfig, BiRealman, _prepare_robots
CoRobot 模块组织	FlagOpen/CoRobot/README.md	RoboCOIN, RoboCOIN-DataManager, DataCollect, DataConvert, DataForge modules
RTML 轨迹过滤	FlagOpen/RoboCOIN-RTML/src/robot_trajectory_selector/robot_trajectory_selector.py	RTMLQualityFilter, _apply_constraints, is_high_quality, filter_with_rtml

下面的伪代码不是论文原文，而是根据开源代码和论文管线抽象出的可复现流程。

def download_and_load_robocoin(ds_lists, hub="huggingface", root=None):
    args = build_parser().parse_args([
        "--hub", hub,
        "--ds_lists", *ds_lists,
        "--target-dir", root or "~/.cache/huggingface/lerobot/",
    ])
    dataset_paths = []
    for name in _prepare_dataset_list(args.ds_lists):
        repo_id = f"{_resolve_namespace(args.namespace)}/{name}"
        path = download_dataset(
            repo_id=repo_id,
            hub=args.hub,
            target_dir=_resolve_output_dir(args.output_dir) / name,
            token=_resolve_token(args.hub, args.token),
            max_workers=args.max_workers,
        )
        dataset_paths.append(path)
    return [LeRobotDataset(repo_id=f"RoboCOIN/{name}", root=p) for name, p in zip(ds_lists, dataset_paths)]

class HierarchicalMetadataLoader:
    def load(self, local_dir):
        tasks, task_to_idx = load_tasks(local_dir)
        subtasks, subtask_to_idx = load_subtasks(local_dir)
        scenes, scene_to_idx = load_scenes(local_dir)
        eef_velocity = load_eef_velocity_annotation(local_dir)
        gripper_activity = load_gripper_activity_annotation(local_dir)
        return {
            "trajectory_level": {"tasks": tasks, "scenes": scenes},
            "segment_level": {"subtasks": subtasks},
            "frame_level": {
                "eef_velocity": eef_velocity,
                "gripper_activity": gripper_activity,
            },
        }

class RTMLQualityFilter:
    def is_high_quality(self, episode_step):
        stats = episode_step["stats"]
        constraints = dict(self.global_constraints)
        for stage in self.stages:
            if stage["match_subtask"] == episode_step["subtask"]:
                constraints.update(stage["constraints"])
        return self._apply_constraints(stats, constraints)
 
    def _apply_constraints(self, stats, constraints):
        checks = []
        checks.append(check_workspace(stats, constraints.get("workspace")))
        checks.append(check_velocity(stats, constraints.get("velocity")))
        checks.append(check_acceleration(stats, constraints.get("acceleration")))
        checks.append(check_idle_arm(stats, constraints.get("idle_arm")))
        checks.append(check_orientation(stats, constraints.get("orientation")))
        checks.append(check_temporal(stats, constraints.get("temporal")))
        return all(c for c in checks if c is not None)

def hierarchical_policy_inference(robot, policy, pyramid_state):
    robot.connect()
    while not task_done():
        obs = robot.get_observation()
        scene_text = pyramid_state.current_scene_description(obs)
        subtask_text = pyramid_state.current_subtask(obs)
        frame_motion = pyramid_state.summarize_recent_motion(obs)
        instruction = fuse(
            user_instruction=task_instruction(),
            trajectory_level=scene_text,
            segment_level=subtask_text,
            frame_level=frame_motion,
        )
        action = policy.select_action({"observation": obs, "instruction": instruction})
        robot.send_action(action)
    robot.disconnect()

这些代码映射也揭示了一个现实限制：论文中的数据集与工具链由多个仓库承载，FlagOpen/RoboCOIN 是 LeRobot integration 和用户入口，FlagOpen/RoboCOIN-RTML 更直接对应 RTML filtering，FlagOpen/CoRobot 是更高层的框架/模块索引；因此笔记把三者都作为 related code 记录，但 github_ref 主锚点使用官方 RoboCOIN repo 的 main@b3261fe7。

4. Experimental Setup（实验设置）

论文的实验围绕三个问题设计。Q1 问 RoboCOIN 是否提升 VLA 的 multi-embodiment capability；Q2 问 Hierarchical Capability Pyramid 是否提升 VLA，以及提升哪些能力；Q3 问 RTML 对数据质量和模型性能的贡献。

仿真实验设置（Q1）：实验在 RoboTwin 2.0 中进行，目标机器人为 dual-arm ARX-X5 和 Franka Emika Panda，这两个 embodiment 在训练数据中未出现。论文设计 16 个双臂任务，但因部分任务轨迹生成失败，最终 ARX-X5 评估 14 个任务，Franka Emika Panda 评估 11 个任务。视觉输入来自安装在头部和腕部的 Realsense D435，相机分辨率为 320×240。对比模型是原始 ${\pi }_0$ fine-tuned baseline 和先在 RoboCOIN-10K 随机子集上 post-train、再在 RoboTwin 任务上 fine-tune 的 ${\pi }_0$-RoboCOIN。

真实实验设置（Q2/Q3）：Q2 在 Realman RMC-AIDA-L 上使用 ${\pi }_0$，平台配三台 Realsense D435 和 RMG24 parallel grippers，任务按双臂协作难度和对象柔性设计，并包含 OOD 场景。Q3 在 Unitree G1edu-u3 上使用 GR00T N1.5，平台配头部 Realsense D435、腕部 Realsense D405，以及 Unitree Dex3-1 三指灵巧手。论文用两个代表性任务分析 RTML 过滤对数据质量和 policy learning 的影响。

被评估的 VLA policies：${\pi }_0$ 是 flow-matching VLA，含 large vision-language model 和 action expert network；GR00T N1.5 是面向 humanoid 的 dual-system VLA，含 VLM 和 future state alignment objective。参数高效适配方面，${\pi }_0$ 使用 LoRA；GR00T N1.5 只 partial fine-tune diffusion 和 projector components。训练配置是：${\pi }_0$ 使用 AdamW，learning rate $2.5\times 10^{-5}$，batch size 32，30000 steps；GR00T N1.5 使用 AdamW，learning rate $1\times 10^{-4}$，batch size 24，10000 steps。每个 experimental task 使用 50 条 trajectory joint training。

代表性任务：Simulation Lift Pot 要求双臂抓住锅的两个把手并同步抬离地面，核心困难是同步协作和防止倾斜；Simulation Place Dual Shoes 要求同时抓两只鞋并依次放入盒子，核心困难是双手协作与精确放置；Real-World Peach Drawer 要求一只手放桃子、另一只手关抽屉，核心困难是异步执行和精细抓取；Real-World Pass Bowl 要求空中交接碗并稳定放到目标位置，核心困难是 handover 阶段稳定性。

Figure 6 解读：图 6 是 Q1 的核心结果图，比较 RoboTwin 2.0 中 ARX-X5 和 Franka Emika Panda 上的 ${\pi }_0$ 与 ${\pi }_0$-RoboCOIN。它把 success rate 按任务展示，并标注 N/A 表示 trajectory generation failed。该图用于验证“在未见过的平台上，RoboCOIN post-training 是否给 policy 带来可迁移双臂先验”。

Figure 13 解读：HAI 方法图展示 baseline VLA 与 hierarchical integration 的差异。baseline 直接从 observation、state、instruction 输出 action；增强版把 human instruction、trajectory-level scene、segment-level subtask、frame-level motion cues 融入语言输入或 structured decision-making pipeline，且不修改模型架构。这使实验能把收益归因到层级描述，而不是新增参数。

Figure 12 解读：OOD 图展示真实环境中的光照变化，包括 original、strong light、weak light，并说明还有对象颜色和背景变化。它的重要性在于：OOD 不是抽象 domain shift，而是直接影响视觉 perception 的实际部署条件，例如阴影、纹理可见度和亮度差异。

5. Experimental Results（实验结果）

Q1：RoboCOIN 提升跨具身适应能力。 在 RoboTwin 2.0 中，${\pi }_0$-RoboCOIN 几乎在两个未见平台的所有任务上都优于 ${\pi }_0$。ARX-X5 平均成功率从 17.3% 提升到 30.4%，相对提升 75.7%；Franka Emika Panda 从 8.5% 提升到 26.6%，相对提升 212.9%。更有解释价值的是按协作强度拆分后的结果：ARX-X5 低协作任务从 15.6% 到 25.2%，相对 +61.5%；高协作任务从 20.4% 到 39.6%，相对 +94.1%。说明 RoboCOIN 对最依赖双臂同步/交互的任务更有帮助，而不仅是增加一般视觉-动作数据。对于 Place Dual Shoes 这类困难任务，成功率从 0% 变为 ARX-X5 的 9% 和 Franka 的 3%，虽然绝对值仍低，但体现了此前不可行任务被推入可学习范围。

Q2：层级能力金字塔提升结构化推理和 OOD 鲁棒性。 在 Realman RMC-AIDA-L 上，论文比较 ${\pi }_0$ baseline 和 ${\pi }_0$ + Pyramid。增强方式是 minimal/non-intrusive：不改架构和参数，只把 human instruction 与自动提取的 motion cues 融合成结构化 task/subtask/action descriptions。In-distribution 平均成功率从 28% 到 43%，相对提升 53.6%；复杂任务 Peach Drawer 从 20% 到 70%，说明层级信息对长时程、异步、精细操作特别有效。OOD Pass Bowl 四个变体中，平均成功率从 22.5% 到 57.5%，相对提升 155.6%；baseline 从 ID 40% 到 OOD 22.5%，相对下降 43.8%，而 pyramid 模型从 70% 到 57.5%，只下降 17.9%。这说明层级先验不仅帮助拟合训练分布，也帮助模型在光照、背景、物体外观变化下保持阶段理解。

Figure 7 解读：图 7 同时给出任务设计、ID 结果和 OOD 结果。它展示的不是一个新模型结构，而是 hierarchical annotations 作为输入增强后的收益。结果中最关键的数值是 ID 28%→43% 和 OOD 22.5%→57.5%，说明结构化描述能同时改善 long-horizon execution 和环境变化下的鲁棒性。

Figure 8 解读：case analysis 把金字塔收益对应到三种能力：Color-changed OOD Pass Bowl 从 20% 到 50%，反映 scene-level perception/generalization；Pass Bowl 从 40% 到 70%，反映 segment-level handover transition；Peach Drawer 从 20% 到 70%，反映 frame-level fine manipulation。该图给出了“为什么会提升”的 qualitative evidence，而不仅是平均成功率。

Q3：RTML 通过过滤低质量轨迹提升 policy learning。 Unitree G1edu-u3 上的两个任务显示 RTML 平均过滤掉 35.3% 低质量轨迹，说明原始 teleoperation 数据中有大量潜在噪声。failure analysis 进一步指出：phase-level 上，grasping phase 占失败比例最高，为 52.7%；moving phase 为 17.8%。metric-level 上，velocity violation 是主因，占 46.2%；duration violation 次之，占 24.5%。这组分析把数据质量问题从“人为演示噪声”细化为“哪个阶段、哪类物理约束被违反”，对后续采集和任务设计有可执行意义。

在 policy 表现上，论文比较三种 GR00T N1.5 fine-tuning：GR00T-Raw 使用原始数据，成功率 72%；GR00T-Coarse 使用全局 RTML constraints 过滤后数据，相比 Raw 增加 3 个百分点，即 4.2% 相对提升；GR00T-Fine 使用 global + phase-wise constraints，增加 16 个百分点，即 22.2% 相对提升。结论是细粒度阶段约束比只做全局过滤更重要，因为双臂轨迹的失败经常是局部阶段不合格，而整条轨迹的粗略统计可能掩盖问题。

Figure 9 解读：图 9 是 RTML 的直接证据：左侧展示 filtering effect，中间做 phase-wise 和 metric-wise failure breakdown，右侧比较 Raw/Coarse/Fine 三种训练数据对 GR00T N1.5 成功率的影响。图中最重要的逻辑链是：RTML 不是简单丢弃数据，而是把 expert constraints 转成可诊断的失败分布，再把高质量数据转化为更高成功率。

与已有数据集比较。 Table II 把 RoboCOIN 与 RH20T、RoboSet、BridgeData V2、DROID、Open X-Embodiment、RoboMIND、AgiBot World Beta、Open Galaxea 等比较。关键维度包括 robot type、platform number、trajectory number、tasks、action types、open source、annotation hierarchy、teleoperation/source。RoboCOIN 的定位是 Dual、15 platforms、180K+ trajectories、421 tasks、39 action types、open-source、hierarchical annotation、human teleoperation。它的总轨迹量不如 AgiBot World Beta 的 1M，也远小于 Open X-Embodiment 的 1.4M 聚合规模，但它在“多平台双臂 + 层级标注 + 完全开放工具链”组合上更有针对性。

作者承认的限制。 第一，teleoperation 会引入 operator bias，不同操作者的轨迹风格、速度、精确度和阶段切分可能不同，影响数据分布一致性。第二，人工标注与人工复核仍然昂贵，存在 scalability bottleneck，也可能带来 subjectivity。第三，当前 RTML 依赖 expert-defined heuristics，对于小众任务或新平台可能需要重新设计规则，灵活性受限。这些限制说明 RoboCOIN 并没有完全解决自动数据采集和自动标注问题；它更像是把当前可行的人机协作采集流程系统化，并用规则和层级结构提高可控性。

整体结论。 RoboCOIN 的贡献不是“一个更大的机器人数据集”这么简单，而是把双臂数据的三个关键问题放在同一框架中处理：数据覆盖要跨 platform、任务语义要跨层级、轨迹质量要可验证。实验结果支持一个清晰结论：多具身数据能给 unseen hardware 提供迁移先验，层级描述能提高长时程与 OOD 双臂操作，RTML 能把数据清洗从人工经验变成可配置约束。对于后续研究，最值得复用的是它的数据组织和质量控制思路；最需要谨慎的是不要把 RTML 分数视为通用真理，因为约束仍由专家定义，迁移到新任务时必须重新校准。