Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation

Paper: arXiv:2510.08807 Code: physical-superintelligence-lab/Humanoid-Everyday Code reference: master @ 10eb7d6f (2026-05-09)

1. Motivation（研究动机）

Humanoid Everyday 的核心问题不是“再收一个机器人数据集”，而是指出当前机器人学习数据的主轴仍然过度围绕固定机械臂：很多数据集能覆盖抓取、推拉、放置等桌面操作，但对人形机器人真正困难的开放世界操作覆盖不足。人形机器人具备双臂、灵巧手、躯干、双腿和接近人类视角的感知配置，理论上可以执行更接近日常生活的任务；但这也引入了更高维动作空间、全身协调、下肢移动与上肢操作耦合、人机交互安全性、户内外环境变化等问题。论文认为，如果训练数据只来自固定工作台上的单臂或移动底盘机器人，那么模型很难学到“人形身体”带来的动作先验和任务结构。

现有数据集的缺口主要有三类。第一是 embodiment gap：BridgeData、DROID、Open X-Embodiment 等规模很大，但平台多为机械臂或移动平台，缺少人形机器人双足移动、双臂协调和灵巧手操作的组合。第二是 task diversity：少数人形数据集常集中在固定环境或少量重复任务，难以覆盖 Basic Manipulation、Deformable Manipulation、Articulated Manipulation、Tool Use、High-Precision Manipulation、Human-Robot Interaction、Loco-Manipulation 这样的技能谱。第三是 evaluation gap：即使有数据，社区也缺少标准化真实人形机器人评测平台；没有统一评测环境时，不同策略的成功率很难公平比较，尤其是硬件、环境初始状态、人类重置方式、远程部署方式都会影响结果。

本文的实际目标是构建一个“数据 + 采集管线 + 基线分析 + 云评测平台”的生态，而不仅是发布 raw trajectories。论文报告 Humanoid Everyday 包含 10.3k trajectories、超过 3 million frames、260 tasks、7 个任务大类，并记录 RGB、depth、LiDAR、tactile、IMU、odometry、joint states、language annotations 等多模态信息。与普通数据集相比，作者还强调采集效率：通过对 Unitree 官方 teleoperation script 的多进程改造，将数据流、写盘、机器人控制和 IK 计算拆开，降低控制延迟并提高每个任务 40 episodes 的采集吞吐。

Figure 1 解读：这是论文 teaser，展示的不是单一实验室台面，而是跨室内外、跨物体类型、跨人机交互方式的任务集合。对读者最重要的直觉是：Humanoid Everyday 把 humanoid manipulation 从“少量 demo 展示”推进到一个可训练、可分析、可评测的数据闭环；论文价值主要在 dataset/system benchmark，而非新的 policy architecture。

2. Core Idea（核心想法）

本文的核心思想可以概括为三点：

1. 以人形机器人能力边界定义数据，而不是以传统机械臂任务定义数据：任务选择覆盖灵巧手、双臂、下肢移动、人类协作和户外/动态环境，使数据能够暴露当前 imitation learning 与 VLA 模型在人形机器人上的真实短板。
2. 用高效 teleoperation 管线把多模态数据规模化：作者使用 Unitree G1/H1、Apple Vision Pro、Intel RealSense RGB-D、Livox LiDAR、Dex3-1 tactile sensors / INSPIRE hands 等配置，采集 30Hz 同步数据，并在系统层面把控制与记录分离。
3. 将评测作为数据集的一部分：论文提出 cloud-based evaluation platform，允许外部研究者通过 policy server IP/port 接入，平台向用户侧流式发送 RGB/depth/robot state，用户回传 action commands，由本地真实人形机器人执行，从而降低没有硬件的团队参与真实评测的门槛。

Figure 2 解读：该 overview 概览了 dataset、policy learning analysis 与 cloud evaluation 的关系：数据集提供 7 大任务类别和多模态输入，策略分析用于观察不同模仿学习/大模型策略的失败模式，云平台则把评测闭环标准化。这里的关键创新不在于某个损失函数，而在于把“开放世界人形操作”拆成可复现的工程对象：任务库、传感器 schema、采集吞吐、基线成功率、远程评测协议。

一个值得注意的细节是论文与仓库 README 的统计口径存在轻微不一致：论文摘要写 10.3k trajectories、over 3 million frames、260 tasks；Table I 写 Humanoid Everyday 为 10.3k trajectories 和 221 skills；GitHub README 写 total download size 约 500GB、across 250 tasks、over 100,000 time-step recorded，同时又列出 Tasks: 260 diverse scenarios。笔记采用论文主文的 10.3k / 3M / 260 / 7 类作为主要描述，并把 README 数字视为公开 release packaging 或数据下载口径。

3. Method（方法）

3.1 数据集定位与对比

Table I 将 Humanoid Everyday 与 MIME、RoboTurk、RoboNet、BridgeData、RH20T、DROID、Open X-Embodiment、Fourier ActionNet、AgiBot World 等数据集比较。表中 Humanoid Everyday 的特征组合是：10.3k trajectories、221 skills、支持 LiDAR sensing、humanoid robot、dexterous hand、bipedal loco-manipulation、human-robot interaction 和 cloud evaluation。相比 Open X-Embodiment 的 1.4M trajectories / 217 skills，Humanoid Everyday 的轨迹规模更小，但 embodiment 和任务属性更贴近人形机器人；相比 Fourier ActionNet 的 13k / 16，它更强调技能种类和云评测；相比 AgiBot World 的 1M / 87，论文认为 AgiBot World 在表中不满足“bipedal humanoid + dexterous hands + cloud evaluation”的组合。

这个对比说明本文的“comprehensive”不是单纯指 trajectory 数量最大，而是指覆盖人形操作需要的关键维度：双足移动、双臂/灵巧手、触觉与 LiDAR、多模态状态、人类交互和标准化远程评测。如果下游目标是训练通用桌面机械臂策略，Open X-Embodiment 这类数据规模更有优势；如果目标是研究 humanoid whole-body manipulation，Humanoid Everyday 更接近目标分布。

3.2 机器人平台、传感器与 teleoperation

Figure 3 解读：该图说明 Humanoid Everyday 的数据不是单一摄像头视频，而是同时记录人形机器人本体状态、RGB-D、LiDAR、触觉和 teleoperation 输入；这些模态共同支持后续 imitation learning、VLA finetuning 和环境感知分析。

论文使用两类 Unitree 人形机器人采集数据：29 DoF 的 G1，配 7-DoF three-fingered dexterous hands（Dex3-1）；27 DoF 的 H1，配 6-DoF INSPIRE hands。H1 和 G1 都装有 Intel RealSense RGB-D cameras 与 Livox LiDAR；G1 的 Dex3-1 hands 还有 tactile sensors。teleoperation 侧，操作者佩戴 Apple Vision Pro，利用其底部摄像头捕捉 wrist 和 finger keypoints。手指运动通过 dex-retargeting 映射到机器人手，wrist poses 经 Pinocchio-based inverse kinematics 转为 arm joint commands，由此实现 full upper-body teleoperation。

这个设计的直觉是把人类操作者的“意图与手部几何”尽量直接投射到人形机器人动作空间，同时保留机器人本体传感器。Vision Pro 提供自然的手部/腕部输入，IK 层负责把人手轨迹转为机器人可执行的关节命令，机器人端传感器记录执行时的真实观测。这样采集到的数据既包含 imitation learning 所需的 action supervision，也包含后续多模态 policy 所需的 egocentric perception。

3.3 多进程数据采集管线

Figure 4 解读：该图对比了官方/原始 teleoperation 流程与作者重构后的流程，重点是把控制环和写盘链路解耦。论文最工程化的部分正是这个数据采集管线：作者将官方 Unitree teleoperation library 重新组织为 multi-processing / asynchronous IO pipeline，把 data streaming、data writing、robot control、IK computation 拆到不同进程和线程。论文给出的效率数字是：控制延迟从 Before 的约 500 ms 降到 Ours 的 20 ms；每个任务 40 episodes 的 operation time 从 58 min 降到 28 min。对 teleoperation 数据集而言，延迟和吞吐不是小问题：延迟过高会让操作者补偿错误、动作轨迹不自然，也会降低细粒度操作成功率；写盘阻塞会导致多模态时间戳不稳，破坏 RGB/depth/LiDAR/tactile/action 的对齐。

可以把该管线理解为如下流程：

# Paper-derived teleoperation/data-collection flow
while collecting_task:
    avp_stream = read_apple_vision_pro_wrist_and_finger_keypoints()
    hand_targets = dex_retargeting(avp_stream.finger_keypoints)
    arm_targets = pinocchio_inverse_kinematics(avp_stream.wrist_poses)
 
    parallel:
        robot_control_process.send_joint_commands(arm_targets, hand_targets)
        sensor_stream_process.read_rgb_depth_lidar_tactile_imu_odometry()
        writer_process.flush_synchronized_frames_to_episode_storage()
        monitor_process.check_delay_and_episode_quality()

这里的 pseudocode 是根据论文系统描述抽象的；公开 GitHub 仓库没有 teleoperation control loop 的完整实现，仓库主要提供 dataset loader 与 LeRobot conversion 工具。因此，在复现层面能直接运行的是数据读取/转换，不是完整采集系统。

3.4 任务分布与数据 schema

Figure 5 解读：该图给出 7 类任务和 skill/task 分布，帮助判断数据集是否真的覆盖 humanoid everyday manipulation，而不是只在若干高频类别上重复采样。

数据集覆盖 7 个大类：

• Basic Manipulation：基础 pick-and-place 或日常物体移动，例如把玩具放进盘子。
• Deformable Manipulation：毛巾、布料等可变形物体操作，需要接触状态和形变估计。
• Articulated Manipulation：椅子、门把手等带铰链/关节结构的对象。
• Tool Use：使用橡皮、工具等外部物体达成目标。
• High-Precision Manipulation：插花等高精度任务，对手部姿态和视觉误差敏感。
• Human-Robot Interaction：例如把 dumpling toy 递给人类，要求人机时序和安全交互。
• Loco-Manipulation：走到目标附近再执行抓取/操作，耦合 lower-body locomotion 与 upper-body manipulation。

每个任务约 40 episodes，采样频率 30Hz。公开仓库 README 描述 raw data 组织为 <task_name>/episode_i/data.json + color/ + depth/ + lidar/：data.json 存低维 sensor/action 数据与高维文件相对路径，color/ 存 480×640×3 RGB PNG，depth/ 存 480×640 uint16 depth，lidar/ 存 PCD point clouds。低维状态包括 arm/leg/hand joints、IMU、odometry/kinematics、G1 hand pressure sensors、teleoperator hands/head actions、IK data 等。

3.5 Cloud evaluation platform

Figure 6 解读：该图展示云评测平台如何连接远程 policy server 与本地真实人形机器人。云评测平台的目标是把真实人形机器人硬件变成可远程访问的 benchmark。平台重建 Humanoid Everyday 的一部分任务环境；研究者指定 policy server IP 和 port 后，平台向客户端发送 real-time visual inputs（RGB、Depth）和 robot state，用户在本地 policy server 上推理动作，再把 action commands 送回服务器，由真实 G1/H1 执行。平台还把 egocentric RGB/depth 和第三方视角画面流到 web interface，方便远程观察执行过程。

Figure 7 解读：原论文 Figure 6 显示平台连续运行超过 100 分钟直到电池耗尽，期间只有 3 次 human interventions，原因是 motor overheating。这个数字的意义在于平台并非只做单次 demo，而是支持较长时间的持续评测；但论文也承认当前不支持 automatic scene resetting，任务失败后的环境恢复仍需要人工帮助。

3.6 公开代码：数据读取与 LeRobot 转换

公开仓库 physical-superintelligence-lab/Humanoid-Everyday（master@10eb7d6f）主要包含 dataset loader、schema 说明、下载/转换脚本，而不是完整 baseline training 或 cloud evaluation server。代码层面的可复现对象主要有两个：

Paper Concept	Source File	Key Class/Function
任务 zip 解压与 episode 读取	humanoid_everyday/core.py	Dataloader, Dataloader.Episode, _load_frame
depth / RGB / LiDAR 解码	humanoid_everyday/core.py	_load_depth_lzma, _load_jpg, _load_lidar_points
可视化检查	humanoid_everyday/core.py	display_image, display_depth_point_cloud, display_lidar_point_cloud
LeRobot 转换入口	scripts/he2lerobot.py	main, HE2LeRobotConverter.run
observation 构建	scripts/he2lerobot.py	build_obs, load_depth, load_lidar, load_tactile
action 构建	scripts/he2lerobot.py	build_act
episode parquet / video / metadata 输出	scripts/he2lerobot.py	make_one_episode, write_meta, InfoDict

代码中 Dataloader 的逻辑可以概括为：

# Code-derived from humanoid_everyday/core.py
loader = Dataloader(task_zip_path)
extract zip into sibling directory
for each episode_dir containing data.json:
    frames_meta = json.load(data.json)
    episode = Episode(dirpath=episode_dir, frames_meta=frames_meta, loader=loader)
 
Episode.__getitem__(idx):
    frame_meta = frames_meta[idx]
    return loader._load_frame(dirpath, frame_meta)
 
_load_frame(dirpath, frame):
    depth = lzma.decompress(frame["depth"]) -> uint16 array (480, 640)
    image = PIL.open(frame["image"]).convert("RGB") -> numpy array
    lidar = open3d.io.read_point_cloud(frame["lidar"]) -> float32 points
    return {**frame, "depth": depth, "image": image, "lidar": lidar}

he2lerobot.py 的转换逻辑更接近下游训练准备：

# Code-derived from scripts/he2lerobot.py
for category_dir, task_dir in iter_tasks(data_root):
    task_index = register_task(category, task_name, description)
    for episode_dir in sorted(task_dir / "episode_*"):
        data_list = read_json_list(episode_dir / "data.json")
        rows, rgb_paths = [], []
        for frame_index, frame in enumerate(data_list):
            depth = load_depth(episode_dir / frame["depth"]) or nan_array(480, 640)
            lidar = load_lidar(episode_dir / frame["lidar"]) or empty_points()
            obs = build_obs(frame, depth, lidar)
            act = build_act(frame)
            rows.append({
                **obs,
                "action": act,
                "timestamp": frame_index / 30,
                "frame_index": frame_index,
                "episode_index": episode_index,
                "task_index": task_index,
                "next.done": frame_index == len(data_list) - 1,
            })
        write rows to chunked Parquet
        encode rgb_paths into egocentric mp4
write_meta(info.json, tasks.jsonl, episodes.jsonl, episode_stats)

build_act 有一个关键 embodiment 细节：H1 的 hand representation 需要 post-processing。当 right_angles / left_angles 长度为 12 时，代码用 [1.7 - qpos[4], 1.7 - qpos[6], 1.7 - qpos[2], 1.7 - qpos[0], 1.2 - qpos[8], 0.5 - qpos[9]] 转为每只手 6 维；当长度为 7 时，视为 G1 的 7+7 hand joints 直接拼接；随后把 actions["sol_q"] 作为 14 维 arm joints 追加。因此 README 示例中 action shape 为 H1 26 维、G1 28 维。这个处理说明不同人形平台虽然共享数据集名称，但动作空间维度和手部关节语义并不完全一致，下游训练必须保留 robot_type 或做显式对齐。

4. Experimental Setup（实验设置）

4.1 基线策略设置

论文评估了 7 类 imitation learning / VLA policy：Diffusion Policy (DP)、3D Diffusion Policy (DP3)、Action Chunking with Transformers (ACT)、OpenVLA、${\pi }_0$-FAST、${\pi }_{0.5}$、GR00T N1.5。所有策略在 30Hz humanoid data 上训练到收敛；对 VLA-based policies，作者采用 two-stage finetuning：先在完整 Humanoid Everyday 上 finetune，再针对具体 task category 的数据继续适配。每个策略在 7 个代表性任务上评测，每个任务 10 trials。

Figure 8 解读：原论文 Figure 7 展示 7 类任务的真实执行区域和 arm trajectories。黄色区域表示任务执行范围，区域存在轻微变化；这意味着评测不是纯粹固定初始状态的 deterministic script，而是要求策略适应一定空间扰动。

5. Experimental Results（实验结果）

5.1 Success rate 表

Task Category	Task	DP	DP3	ACT	OpenVLA	${\pi }_0$-FAST	${\pi }_{0.5}$	GR00T N1.5
Articulate	Rotate chair	100%	90%	100%	70%	100%	100%	100%
Tool Use	Use eraser to wipe the desk	0%	70%	0%	30%	40%	40%	0%
Basic	Put dumpling toy into plate	30%	20%	70%	30%	60%	30%	80%
Deformable	Fold towel on the desk	0%	20%	0%	40%	20%	40%	50%
HRI	Hand over dumpling toy	40%	40%	70%	60%	30%	40%	100%
Loco-Manip.	Walk to grab door handle	30%	0%	0%	30%	10%	0%	30%
High Precision	Insert rose into vase	0%	0%	0%	10%	0%	0%	0%
Average		29%	34%	34%	39%	37%	36%	51%

平均成功率的精确排序是：DP 29%，DP3 34%，ACT 34%，OpenVLA 39%，${\pi }_0$-FAST 37%，${\pi }_{0.5}$ 36%，GR00T N1.5 51%。

总体结论很直接：现有 end-to-end imitation policies 在 humanoid manipulation 上普遍困难，平均成功率最高的 GR00T N1.5 也只有 51%。高维动作空间是主要原因之一，论文明确指出数据集 action space 总计 28 DoFs。DP3 通常优于 DP，作者推测 point cloud observations 带来更强的环境鲁棒性；但 DP3 在 Loco-Manipulation 任务上表现很差，说明 3D observation 并不能自动解决全身移动与操作耦合。ACT 在 Basic 和 HRI 上不错，但在 Tool Use、Deformable、Loco-Manipulation 和 High Precision 上失败，可能反映 chunked action transformer 对复杂接触和移动场景的泛化不足。

VLA 模型整体更稳定，但差异也很明显。OpenVLA 在 30Hz 高频数据上由于没有压缩 action space，常难以产生有意义运动；降采样到 2Hz 可以缓解，但行为更不平滑。${\pi }_0$-FAST、${\pi }_{0.5}$ 与 GR00T N1.5 受益于预训练先验，在 Deformable 和 Loco-Manipulation 等需要鲁棒性的任务上更有优势。GR00T N1.5 在 HRI 达到 100%，Basic 80%，Deformable 50%，但在 Tool Use 为 0%，High Precision 为 0%，说明大模型先验并不能替代精细接触控制和工具动力学建模。

5.2 Humanoid Everyday 作为预训练 prior

Figure 9 解读：该 ablation figure 比较直接 task-specific finetuning 与先用 Humanoid Everyday 预训练再适配的策略。论文还验证 Humanoid Everyday 是否可作为 VLA 模型的预训练 prior：实验选择 HRI 任务 “handing over a dumpling toy”，比较两种训练策略：(i) 先在完整 Humanoid Everyday 上 finetune，再做 task-specific finetuning；(ii) 直接 task-specific finetuning。Figure 9 显示两阶段策略在各 VLA 模型上都带来提升。论文没有在正文给出每个柱子的精确数值表，但定性结论是：多样的人形行为数据提供了有用先验，提升下游交互任务的鲁棒性和稳定性。

这个 ablation 的重要性在于它把数据集价值从“可做 benchmark”推进到“可做 pretraining corpus”。如果一个数据集只在同分布任务上训练有效，它更像任务集合；如果能提升新任务或具体 category 的 finetuning，它才更接近 embodied foundation data。Humanoid Everyday 的证据还比较初步：只选择一个 HRI 任务做 prior ablation，且正文未给出完整数值表；但方向上支持用大规模 humanoid data 作为 VLA 后续适配前的中间训练阶段。

5.3 局限

论文明确承认两个限制。第一，实验只评估现有 imitation learning policy architectures，没有提出专门针对 humanoid high-DoF action space 的新模型。因此成功率表更像一份诊断报告：它证明当前模型在高精度、工具使用、loco-manipulation 上不够鲁棒，而不是展示一个已解决方案。第二，cloud evaluation 还不支持 automatic scene resetting。真实世界任务失败后，环境恢复往往需要人类干预；这会限制大规模自动评测，也让策略在失败恢复能力上的比较不充分。

还有几个隐含限制。其一，虽然数据集有 RGB、depth、LiDAR、tactile、IMU 等模态，但不同机器人平台的可用传感器和动作维度不一致，G1 与 H1 的手部 representation 需要分别处理。其二，公开视频/论文强调 30Hz 数据，但 VLA 模型在 30Hz action space 上可能存在时间抽象不足问题；OpenVLA 的降采样现象说明下游 policy 可能需要 action chunking、latent action、hierarchical control 或 temporal abstraction。其三，公开仓库目前主要是 loader 与 conversion 工具，未包含完整采集、基线训练、云评测 server 代码；复现 baseline success rates 仍需要额外实现或等待更完整 release。

5.4 对后续工作的启发

对机器人数据集建设而言，Humanoid Everyday 的启发是：数据集质量不只由 episode 数量决定，还由 embodiment coverage、sensor richness、task taxonomy、evaluation protocol 决定。对 policy 研究而言，这份基线表提示三类方向值得优先探索：第一，针对 26/28 DoF 动作空间的低维 latent action 或 whole-body action abstraction；第二，融合 RGB-D/LiDAR/tactile 的 contact-aware representation，尤其用于 deformable 与 high-precision tasks；第三，将 locomotion 与 manipulation 分层建模，避免一个 end-to-end policy 同时承担导航、姿态稳定、抓取和任务完成。

从工程复现角度，公开代码最实用的入口是 humanoid_everyday.Dataloader 和 scripts/he2lerobot.py。如果只是训练行为克隆/VLA，建议先把 raw tasks 转为 LeRobot-style dataset，保留 robot_type、category、instruction 和 task metadata；同时要显式处理 H1/G1 action dimension，不要把 26 维与 28 维动作直接混合成一个无标识空间。对需要多模态输入的模型，depth 是 lzma-compressed uint16，LiDAR 是 PCD variable-length point cloud，tactile 是 sensor-wise usable readings；这些字段都可能需要 padding、masking 或 modality dropout。

5.5 一句话总结

Humanoid Everyday 的主要贡献是把开放世界人形机器人操作从零散 demo 组织成一个包含 10.3k trajectories、260 tasks、多模态传感、基线分析和云端真实机器人评测的平台；它最有价值的不是新的模型结构，而是给后续 humanoid VLA / imitation learning 提供了接近真实瓶颈的数据分布与评测闭环。