Dex1B: Learning with 1B Demonstrations for Dexterous Manipulation

Paper: arXiv:2506.17198 Code: lucidrains/Dex1B（第三方 WIP 实现；官方项目页只发现 Paper/arXiv/Video/Summary 链接，未发现官方代码入口） Code reference: main @ c162a0b2 (2025-08-09)

1. Motivation (研究动机)

Dex1B 的核心动机不是“再做一个灵巧手模型”，而是把灵巧操作问题重新表述为一个数据规模问题：灵巧手的自由度高，确实比二指夹爪更难控制，但作者认为社区之所以怀疑灵巧手是否必要，主要原因是现有数据不足以覆盖复杂、多样、长尾的接触分布。论文开头把现有数据来源分成三类并指出各自瓶颈：人工/真人示教昂贵且不精确，尤其会被人手结构、日常姿态和采集装置限制；纯优化方法可以生成物理可行的接触，但速度慢、对初始化敏感，而且容易偏向简单物体/姿态；RL 可以在仿真中产生策略，但数据多样性不足，且不天然给出大规模、可复用的轨迹级监督数据。Dex1B 试图回答的问题是：如果我们不再把每条示教都看成昂贵人工资产，而是用优化产生高质量种子，再用带几何约束的生成模型扩张分布，灵巧手是否也能进入“数据越大、监督学习越强”的范式？

Figure 1 解读：顶部展示 Dex1B 为 grasping 任务生成的大规模高质量示教，中部展示 articulation 任务的示教，底部展示用 Dex1B 训练的 DexSimple 直接 sim-to-real 部署到真实平台。这个图的作用是把论文的三条主线放在一起：数据规模达到 1B，任务覆盖抓取和关节物体操作，且不是只停留在离线指标，而要能落到真实机器人。

现有 generative dexterous manipulation 方法已经证明生成模型能学习抓取/手姿态分布，但论文指出两个关键缺口。第一是 feasibility：生成模型通常比确定性优化或回归方法更容易输出穿模、接触不稳或不可执行姿态；如果直接拿这些样本当数据，后续策略会学到错误接触模式。第二是 diversity：生成模型虽然比单点回归更有多样性，但它往往在已有示教之间插值，如果种子数据本身偏向常见物体类别、常见关节角或常见腕部姿态，模型会继承甚至放大这种偏置，而不是主动扩展到低频条件。Dex1B 因此提出两层修正：用几何损失把生成模型拉回物理可行区域，用条件化与 debiasing 机制主动采样低频条件。

这篇论文的研究价值在于，它把“灵巧手是否值得”从一个控制架构争论转成一个可验证的数据中心假设。作者给出的实证目标非常具体：构造一个包含 1 billion demonstrations 的轨迹级数据集，覆盖 grasping 和 articulation 两类基础任务、超过 6,000 个物体、Shadow Hand / Inspire Hand / Ability Hand 三种灵巧手；在 DexGraspNet 抓取合成基准上超过已有 SOTA；在新构建的 lifting 和 articulation 监督学习 benchmark 上证明 Dex1B 训练数据优于 DexYCB/ARCTIC；最后通过 xArm+Ability Hand 和 H1+Inspire Hand 的真实实验验证直接 sim-to-real 部署的鲁棒性。换句话说，论文关心的不是一个单独任务的最优控制器，而是大规模、可扩张、可过滤、可复用的机器人示教生成基础设施。

论文报告的贡献可以概括为三点。第一，提出一个把优化、生成模型、仿真验证和 debiasing 串联起来的 iterative data generation pipeline，用于生成 grasping 与 articulation 的大规模灵巧手轨迹。第二，提出 DexSimple 这个简单但有效的条件 CVAE baseline：PointNet 编码物体点云，CVAE 生成手姿态/轨迹，并加入 SDF 等几何约束。第三，基于 Dex1B 和 DexSimple，在 DexGraspNet 上获得相对上一最佳方法 22 个百分点的 success-rate 改进，并在真实机器人实验中相对 DexSampler 得到 96% vs. 58% 的平均成功率。这里“22% improvement”不是泛泛而谈，而是论文 conclusion 中对应 DexSimple+optimization 相比 UGG+optimization/filter 的抓取合成性能提升。

2. Idea (核心思想)

Dex1B 的核心 insight 是：灵巧操作数据的瓶颈不必在“纯优化精确但慢”和“纯生成快但不可靠”之间二选一；可以让优化负责高质量 seed 和后处理，让生成模型负责指数级扩张候选分布，再用仿真 critic 和 debiasing 策略闭环筛选与再平衡。这个想法与 DexGraspNet/DexGraspNet2.0 的重要区别在于，Dex1B 不只是对一个优化数据集训练生成模型做采样，而是把生成模型放进数据引擎本身：seed dataset 训练 DexSimple，DexSimple 采样 proposal dataset，proposal 再经过仿真验证、优化 refinement 和偏置修正，形成下一轮更大规模训练集。

Figure 2 解读：overview 图展示完整数据引擎：输入是 object assets 与 hand pose initialization；先用 control-based optimization 生成 Seed dataset；Seed 用来训练 DexSimple；DexSimple 以缩放比例 $π$ 生成 scaled proposal dataset；proposal 再经过 simulation critic 与 debiased algorithm，形成 debiased dataset，并送入 optimization refinement。这个图说明 Dex1B 不是一次性生成数据，而是多轮“优化种子 → 生成扩张 → 仿真验证/去偏 → 再训练”的循环。

从数据角度看，Dex1B 的关键是把“示教”定义为完整 action sequence，而不是单帧手姿态。每条示教从 reaching 开始，到关键接触/抓取，再到 lift 或 open 等 task-specific post-grasping 动作。论文把两类任务都拆成三个阶段：pre-grasping 负责到达，grasping stage 负责接触合成，post-grasping 对 lifting 是升高 z 值，对 articulation 是沿关节轴旋转或平移。这个分解让优化与生成模型的职责清晰：生成模型主要学习关键手姿态和条件化分布，运动规划补齐中间轨迹，仿真筛掉失败样本。

从模型角度看，DexSimple 的设计刻意保持简单。作者没有选择更复杂的 diffusion/transformer 生成器作为核心，而是回到 CVAE：用 PointNet 编码点云，CVAE 根据物体全局特征与局部条件生成手姿态或轨迹，再通过几何 loss 提升可行性。这样做的直觉是，Dex1B 的目标不是证明某个复杂生成器最强，而是证明“数据规模 + 几何可行性约束 + 条件化去偏”足以把一个简单模型推到强 baseline。由于几何损失直接惩罚 hand sphere 与 object point cloud 的穿透，模型不需要只从数据分布中间接学习“不要穿模”，而是在训练目标里显式获得空间约束。

与已有方法相比，Dex1B 的 fundamental difference 主要有三点。相对 DexYCB/ARCTIC 这类 human-annotated trajectory dataset，Dex1B 不受真实采集规模限制，论文最终过滤出约 950M successful trajectories（约 1B），并可覆盖更广物体和手型；相对 DexGraspNet 这类 optimization-heavy 数据集，Dex1B 用生成模型扩张候选，使数据规模比 DexGraspNet 多约 $700 \times$ ；相对 UGG/GraspTTA/ContactGen 等生成式抓取方法，Dex1B 不把生成模型只当最终 predictor，而是把它嵌入 iterative data engine，并通过条件化采样补低频区域。论文真正想证明的是：对于灵巧操作，数据引擎比单个 policy architecture 更基础；只要能低成本产生足够大、足够多样且经过物理过滤的数据，监督学习 baseline 也能显著变强。

3. Method (方法)

3.1 Dex1B benchmark 与任务定义

Dex1B benchmark 覆盖两个基础灵巧操作任务：grasping/lifting 与 articulation。Grasping/lifting 中，手从随机姿态和关节配置出发，需要到达桌面上的物体、完成抓取，并把物体提升到 0.4 m，同时最终帧至少两个手指与物体保持接触。Articulation 中，手同样从随机姿态和关节配置出发，需要到达可交互 link，例如 laptop 顶盖、box 或 faucet，并把关节角增加 0.5 radians，最终也要求至少两个手指保持接触。Benchmark 使用 ManiSkill/SAPIEN 进行评估；主文中还指出数据覆盖超过 6,000 个物体与三种手，补充材料给出 lifting split 为 3,491 train objects / 933 test objects，articulation split 为 43 train objects / 21 test objects。

Figure 3 解读：该图是主文中的 lifting trajectory 示例，展示从到达、接触到抬升的连续轨迹。它强调 Dex1B 的样本不是孤立 grasp pose，而是带有任务阶段的轨迹级示教；这也是后续 BC w. PointNet 和 DexSimple 能预测 chunked actions / trajectory 的前提。

Figure 4 解读：补充材料中的 lifting trajectory 更清楚地说明任务成功条件：手必须从随机初始状态运动到桌面物体，完成稳定接触，然后把物体抬到指定高度。它补充了 benchmark 的动作语义：pre-grasping 负责到达，grasping 负责建立接触，post-grasping 负责 lift。

Figure 5 解读：articulation trajectory 展示手沿着 articulated object 的关节方向完成打开动作。与 lifting 相比，articulation 更强调沿关节轴执行轨迹，而不只是抓住并抬起；因此论文在优化能量里用 task wrench space 替代 force closure，表达“产生目标扭矩/力”的需求。

3.2 Iterative data engine：optimization seed、生成扩张、simulation critic 与 debiasing

数据引擎的第一步是纯优化 seed。论文用 hand pose tuple $g = (T, R, θ)$ 表示灵巧手姿态，其中 $T \in R^{3}$ 是全局平移， $R \in SO (3)$ 是全局旋转， $θ \in R^{d}$ 是关节角；Shadow Hand 的 $d = 22$ ，Inspire/Ability Hand 的 $d = 6$ 。物体几何用 mesh $O$ 表示。为了加速优化，作者没有像一些前作那样用完整 link mesh 建模手几何，而是为每个 link 手工定义约 10 个 spheres；sphere 中心通过 forward kinematics 随手姿态变化。这样可以把穿透、接触距离和自碰撞转成更便宜的球-物体/球-球查询。

Grasping seed 的能量函数为： $E_{grasp} = E_{fc} + w_{dis} E_{dis} + w_{sdf} E_{sdf} + w_{j} E_{j} + w_{s} E_{s},$ 其中 $E_{fc}$ 是 force closure term， $E_{dis}$ 最小化接触距离， $E_{sdf}$ 防止穿透， $E_{j}$ 约束 joint limits， $E_{s}$ 避免 self-collision。SDF penetration term 写作： $E_{sdf} = \sum_{i} r_{i} - S D F (c_{i}, O),$ 其中 $(c_{i}, r_{i})$ 是 hand sphere， $S D F (\cdot)$ 查询点到 mesh 的 signed distance。为了避免场景碰撞，作者还对 table 等其他 mesh 做 SDF 查询，并取不同 mesh 的最大 SDF 值作为最终约束。Articulation 的关键区别是 force closure 并不总是必要：打开 laptop 或 drawer 需要的是特定 wrench/torque，因此能量函数把 $E_{fc}$ 替换为 task wrench space term $E_{tws}$ ： $E_{arti} = E_{tws} + w_{dis} E_{dis} + w_{sdf} E_{sdf} + w_{j} E_{j} + w_{s} E_{s} .$ 达到关键帧后，还需要 motion planning 补齐动作序列。Reaching 阶段从手工定义的起点和目标 action 做线性插值，再优化中间动作： $E_{reach} = w_{smooth} \sum_{i = 1}^{N} ∥ g_{i} - g_{i - 1} ∥^{2} + w_{sdf} \sum_{i = 0}^{N} E_{sdf} (g_{i}) .$ 这个目标同时鼓励平滑与避障。补充材料还把 motion planning 统一成 SDF/self-penetration/joint-limit/smoothness energy，并给出速度平滑项： $E_{smooth} = \sum_{t = 2}^{T} ∥ (g_{t} - g_{t - 1}) /Δ t ∥^{2} .$ 实现层面，优化使用 Warp-Lang 和 BVH mesh structure 加速。论文报告纯优化 grasp generation 相比 DexGraspNet 快 $30 \times$ ：单张 RTX-3090 上 2 分钟可以为 6,000 steps 生成 2,000 grasps，并且 ShadowHand 成功率更高（27% vs. 20%）。但即便这样，直接优化 1B demonstrations 仍然不可承受，因此优化只用于约 5M poses 的 seed dataset。随后 DexSimple 在 seed 上训练，先生成 50M proposal dataset；经过 optimization refinement、ManiSkill/SAPIEN 仿真过滤失败轨迹、按低频条件 debias/rebalance 后，再训练下一轮模型生成 500M proposal，并重复流程，最终收集约 950M successful trajectories，近似论文标题中的 1B。

3.3 DexSimple：PointNet + conditional CVAE + geometry-aware objectives

Figure 6 解读：DexSimple pipeline 图展示 CVAE 的输入和条件：hand parameters 与 object point clouds 作为固定输入，root rotation、translation 和 joint value 可作为 optional conditions；这些 embedding 与 point cloud embedding 一起进入 CVAE，point cloud embedding 在 latent space 处再次强调；输出经过 forward kinematics 得到 hand pose trajectory，并用有效损失优化。这个图说明 DexSimple 的条件化不是后处理，而是生成模型内部的输入结构。

DexSimple 以点云 $P \in R^{N \times 3}$ 为视觉输入。数据生成阶段可以使用从 object mesh 采样的 full point cloud；policy deployment 阶段则用单目/单视角 depth map 得到 partial point cloud。PointNet 输出物体全局特征 $f_{obj} \in R^{d}$ 和每个点的局部特征 $f_{p} \in R^{d}$ ： $f_{obj}, {f_{p}}_{p \in P} = PointNet (P) .$ CVAE 用 MLP encoder 把手姿态 $g$ 与条件向量编码为 latent distribution 的均值和标准差，再用 reparameterization 采样并重建手姿态： $μ, σ = Enc (g, f_{obj}), z = μ + σ ⊙ ϵ, ϵ \sim N (0, I), \overset{g}{^} = Dec (z, f_{obj}) .$ 为了支持更多条件，论文直接把额外条件向量 concatenate 到 encoder/decoder 输入中。特别地，每个 hand pose 会通过 heading direction $v$ 找到对应的 object 3D point $p$ ，然后用该点的局部特征 $f_{p}$ 条件化 CVAE，使模型可以针对局部物体几何生成样本。这是 diversity debiasing 的关键接口：如果某些物体类别、关节值或腕部姿态频率低，就可以通过条件化采样让模型更频繁地产生这些区域的样本，而不是只复现 seed distribution 的高频区域。

训练目标包含 reconstruction、KL 和几何 SDF loss。基础重建与 KL 为： $L_{R} = ∥ g - \overset{g}{^} ∥_{2}^{2}, L_{KL} = D_{KL} (N (μ, σ^{2}) ∥ N (0, I)) .$ 训练阶段如果每步都为每个 object 建 BVH 会很慢，所以作者用 object sampled point cloud 近似物体几何，同时继续用 spheres 表示手。Point-sphere SDF loss 为： $L_{SDF} = \sum_{c \in C} max (0, r_{c} - min_{p \in P} ∥ c - p ∥_{2})^{2},$ 其中 $C$ 是 hand sphere 集合， $r_{c}$ 是 sphere radius。直觉上，如果某个 hand sphere 离最近 object point 的距离小于半径，就说明 sphere 与物体可能穿透，loss 会按穿透量平方惩罚。基础模型总损失为： $L = λ_{R} L_{R} + λ_{KL} L_{KL} + λ_{SDF} L_{SDF} .$ 补充材料进一步说明 DexSimple 还引入 optimization-inspired differentiable losses：SDF loss、distance loss 和 smoothness loss。训练配置为 1024 points；PointNet layer sizes 为 $(3, 64, 128, 1024, 256)$ ；CVAE input/output dimension 是 $N_{frames} \times N_{DOF}$ ；CVAE layer sizes 是 $(256, 512, 256)$ ；learning rate 为 1e-5（即 $1 e - 5$ ）；MSE/KL/SDF/Distance/Smoothness loss weights 分别为 1.0、 $1 e - 4$ 、 $1 e - 4$ 、 $1 e - 4$ 、 $1 e - 5$ ；optimizer 是 Adam。主文还说明视觉编码特征维度和 CVAE latent vector dimension 都为 256。

3.4 数据多样性与可视化

Figure 7 解读：该图展示 train/test split 物体上的 diverse demonstrations，并只显示 contact frame 以突出手-物体接触差异。它的重点不是单个物体姿态多好看，而是同一个生成流程可以在训练与测试物体上产生多样且物理可行的接触模式。

Figure 8 解读：joint value probability distribution 对比 Dex1B 与 DexYCB/ARCTIC。论文指出 DexYCB/ARCTIC 的一些 joint values 容易集中在 joint limits，而 Dex1B 更均匀地围绕均值展开。这来自两部分机制：对低频条件的 debiasing 采样，以及优化中加入避免靠近 joint limits 的 regularization。这个图支撑“1B 不只是重复样本，而是分布被扩展”的论点。

Figure 9 解读：qualitative simulation results 同时展示 grasping 与 articulation 的接触帧。它补充了定量表格：Dex1B 的成功不是只体现在 entropy 或 success rate 上，而是能在不同物体、不同动作语义上生成合理接触。

3.5 代码搜索与 code-to-paper 映射

代码搜索结果需要特别谨慎：官方项目页显示 Paper/arXiv/Video/Summary，没有发现官方 GitHub；Web/GitHub 搜索找到的是 lucidrains/Dex1B，README 明确标为 “Dex1B (wip)”。该仓库不是论文作者官方实现，而且当前 commit 的实现非常不完整：PointTransformer 是空壳，DexSimple.__init__ 接收 point_transformer 却给 self.pointnet = pointnet（pointnet 未定义），CVAE.__init__ 使用未定义的 default_layer_sizes 和 nn，README 只有 citation。这意味着它可以作为“公开第三方 WIP 代码骨架”锚点，但不能当作可复现实验配置。

下面的伪代码分两类：simple_sdf_loss 与 CVAE.forward 反映第三方代码实际写出的逻辑；iterative data engine 是论文流程伪代码，因为该公开 WIP 仓库没有实现 seed optimization、simulation critic、debiasing 或 data engine。

def simple_sdf_loss(surface_points, hand_points, hand_point_radius, mask=None):
    """Public WIP code logic in Dex1B/Dex1B.py: point-sphere penetration loss."""
    # surface_points: (B, N, 3), hand_points: (B, M, 3), hand_point_radius: (B, M)
    dist = torch.cdist(hand_points, surface_points)                 # (B, M, N)
    penetration = (hand_point_radius[..., None] - dist).relu()      # max(0, r - d)
    if mask is not None:
        mask_value = torch.finfo(penetration.dtype).max
        penetration = torch.where(mask[:, None, :], penetration, mask_value)
    closest_penetration = penetration.amin(dim=-1)                  # (B, M)
    return closest_penetration.square().sum()

def cvae_forward_loss(encoder, to_mean_logvar, decoder, pose, kl_loss_weight=1e-4):
    """Public WIP code logic: encode pose, reparameterize, decode, MSE + KL."""
    encoded = encoder(pose)
    mean, log_variance = to_mean_logvar(encoded).chunk(2, dim=-1)
    std = (0.5 * log_variance).exp()
    z = mean + std * torch.randn_like(mean)
    recon = decoder(z)
    mse_loss = F.mse_loss(recon, pose)
    kl_loss = 0.5 * (mean.square() + log_variance.exp() - log_variance - 1.0).sum(dim=-1).mean()
    return mse_loss + kl_loss_weight * kl_loss, (mse_loss, kl_loss)

def paper_level_iterative_data_engine(object_assets, hand_inits, rounds=(50_000_000, 500_000_000)):
    """Paper-only pseudocode: public WIP code does not implement this pipeline."""
    seed = optimize_seed_dataset(object_assets, hand_inits, target_poses=5_000_000)
    train_set = validate_in_sim(seed)
    for proposal_size in rounds:
        model = train_dexsimple(train_set)
        proposal = model.sample_conditions(
            object_assets=object_assets,
            size=proposal_size,
            condition_sampler=debiased_low_frequency_conditions(train_set),
        )
        refined = optimize_refinement(proposal)
        successful = validate_in_maniskill_sapien(refined)
        train_set = rebalance_by_object_joint_and_wrist(successful)
    return collect_successful_trajectories(train_set, target_total=950_000_000)

Code reference: main @ c162a0b2 (2025-08-09) — pseudocode and mapping based on this public third-party WIP commit; official paper code was not found during search.

Paper Concept	Source File	Key Class/Function
Point-sphere SDF loss used for geometry-aware training	`Dex1B/Dex1B.py`	`simple_sdf_loss`
CVAE reconstruction + KL training skeleton	`Dex1B/Dex1B.py`	`CVAE.forward`
Point-cloud encoder placeholder	`Dex1B/Dex1B.py`	`PointTransformer`
DexSimple container placeholder	`Dex1B/Dex1B.py`	`DexSimple.__init__`
Paper citation / WIP status	`README.md`	README text: `Dex1B (wip)`
Missing in public WIP code	—	seed optimization, Warp-Lang BVH, simulation critic, debiasing, benchmark training/eval

4. Experimental Setup (实验设置)

实验分成四组：DexGraspNet grasp synthesis 评测、Dex1B dataset analysis 和监督学习 benchmark、数据规模 scaling、几何损失 ablation，以及真实机器人部署。

Datasets and scale. DexGraspNet grasp synthesis benchmark 包含 5,355 objects，每个 object 约 200 grasps，并覆盖五个 scale ${0.06, 0.08, 0.1, 0.12, 0.15}$ ；官方 split 是 4,229 train objects / 1,126 test objects。Dex1B 自身 benchmark 在 lifting 中有 3,491 train objects / 933 test objects，在 articulation 中有 43 train objects / 21 test objects。

主文的数据构建还提到 grasping 使用 DexGraspNet 收集的 5,751 object assets，并排除不能稳定站在桌面上的物体；articulation 使用 DexArt 和 ManiSkill 收集的 650+ articulation assets。对比数据集包括 DexYCB（20 objects，每只手约 500 trajectories）和 ARCTIC（10 articulation objects，共 301 trajectories）。作者按照前作把人类示教 retarget 成机器人轨迹，并加噪生成更多物理可行示教；最终 DexYCB 和 ARCTIC 中分别有 62% 和 64% 轨迹成功达到任务目标。

Baselines. Grasp synthesis 对比 DDG、GraspTTA、UniDexGrasp generation module（UDG）和 UGG，并显式区分是否使用 post-optimization（Opt）与 learned filtering。Dex1B benchmark 对比 vanilla BC w. PointNet 与 DexSimple，并比较二者在 DexYCB/ARCTIC 或 Dex1B 上训练后的泛化。BC w. PointNet 输入 object point cloud、当前 hand joint values 与 poses，预测未来 $n = 50$ frames 的 chunked actions，再用 ACT 风格 temporal weighting 合并。真实实验对比 DexDiffuser 系列中的 DexSampler；因为 DexDiffuser 原本面向 Allegro Hand，作者用自己的 dataset/platform 重训 DexSampler，并省略论文中的 DexEvaluator。

Metrics. DexGraspNet 质量指标包括 Success Rate、 $Q_{1}$ -score 和 Penetration。Success Rate 要求抓取能抵抗 Isaac Gym 中六个重力方向之一，并且最大 penetration depth 小于 0.5 cm； $Q_{1}$ 是 wrench convex hull 内接球半径，contact threshold 为 1 cm；Penetration 是 object point cloud 到 hand meshes 的最大穿透深度。Diversity 指标是 joint angle entropy，范围被划分为 10,000 bins，报告各关节 entropy 的 mean 和 std。Dex1B lifting/articulation benchmark 表格报告 train/test split 成功率；真实实验报告 10 个 unseen objects、每个 5 trials 的成功次数和平均成功率。

Training/config. DexSimple 使用 1024 points；PointNet layer sizes 是 $(3, 64, 128, 1024, 256)$ ；CVAE in/out dimension 是 $N_{frames} \times N_{DOF}$ ；CVAE layer sizes 是 $(256, 512, 256)$ ；learning rate 为 1e-5（即 $1 e - 5$ ）；MSE、KL、SDF、Distance、Smoothness loss weights 分别为 1.0、 $1 e - 4$ 、 $1 e - 4$ 、 $1 e - 4$ 、 $1 e - 5$ ；optimizer 是 Adam。

仿真参数为 object mass 0.1 kg、simulation frequency 100、control frequency 25、contact offset 0.001、solver position iterations 30。真实平台为 xArm+Ability Hand 和 H1+Inspire Hand；xArm 使用 third-person camera，H1 使用 egocentric camera，经过 hand-eye calibration 后用 partial point cloud 输入模型；每次采样 128 poses，选择有效 IK solution，再执行 motion planning。

Figure 10 解读：真实实验使用 10 个 unseen objects，每个物体 5 次试验。这个小图对应 real-world table 中 Obj-1 到 Obj-10 的列，说明 96% 平均成功率不是单一物体重复测试，而是跨多个未见物体的评测。

5. Experimental Results (实验结果)

5.1 DexGraspNet grasp synthesis：DexSimple 在质量指标上明显超过基线

DexGraspNet 抓取合成表明，DexSimple 的主要优势来自 geometric training + post-optimization/filtering 的组合。无 post-optimization、无 filtering 时，DexSimple 的 success rate 为 63.7，低于 DDG 的 67.5，但 diversity entropy H mean 为 8.53，明显高于 DDG 的 5.68；这符合作者解释：DexSimple 是生成模型，多样性更高，但单样本可行性略弱。加入 post-optimization 后，DexSimple 达到 86.0 success rate、 $Q_{1} = 0.125$ 、penetration 0.13、H mean 8.56，超过 UGG+Opt 的 64.1/0.036/0.17/8.31。再加入 filtering 后，DexSimple 达到 92.6 success rate、 $Q_{1} = 0.132$ 、penetration 0.12、H mean 8.56，是表中最好结果。

Method	Opt	Filter	SR ↑	$Q_{1}$ ↑	Pen ↓	H mean ↑	H std ↓
DDG	no	no	67.5	0.058	0.17	5.68	1.99
UGG	no	no	43.6	0.026	0.43	8.33	0.30
DexSimple	no	no	63.7	0.075	0.29	8.53	0.25
UDG	yes	no	23.3	0.056	0.15	6.89	0.08
GraspTTA	yes	no	24.5	0.027	0.68	6.11	0.56
UGG	yes	no	64.1	0.036	0.17	8.31	0.28
DexSimple	yes	no	86.0	0.125	0.13	8.56	0.15
UGG	yes	yes	72.7	0.063	0.14	7.17	0.07
DexSimple	yes	yes	92.6	0.132	0.12	8.56	0.16

这个结果的关键不是“生成模型一定比优化强”，而是说明生成模型如果加入 geometry-aware loss，并允许少量 post-optimization 和 filtering，就能同时拿到高成功率与高多样性。DDG 这类回归/确定性方法可以有不错可行性，但多样性不足；UGG 有较高 entropy，但基础成功率较低。DexSimple 的定位是让生成模型足够可行，从而可以承担 billion-scale data proposal 的角色。

5.2 Dex1B 训练数据优于 DexYCB/ARCTIC，人类示教规模不足成为瓶颈

Dex1B benchmark 的表格直接比较训练数据来源。Lifting 上，DexSimple 用 DexYCB 训练并在 DexYCB test 上评测为 21.21，但用 Dex1B 训练后在 DexYCB test 上升到 53.02；在 Dex1B test 上，DexSimple 用 DexYCB 训练只有 22.80，而用 Dex1B 训练达到 45.40。BC w. PointNet 同样受益：DexYCB 训练在 Dex1B test 只有 2.56，Dex1B 训练达到 28.54。作者特别指出，用 DexYCB 训练的模型很难泛化到 unseen objects。

Lifting method	Training data	Eval DexYCB train	Eval DexYCB test	Eval Dex1B train	Eval Dex1B test
BC w. PointNet	DexYCB	34.72	3.03	1.02	2.56
DexSimple	DexYCB	43.49	21.21	23.68	22.80
BC w. PointNet	Dex1B	33.02	31.82	31.40	28.54
DexSimple	Dex1B	47.17	53.02	49.58	45.40

Articulation 上结论更强。DexSimple 用 ARCTIC 训练时，ARCTIC test 为 23.08；用 Dex1B 训练后，ARCTIC test 达到 73.49。在 Dex1B test 上，DexSimple 用 ARCTIC 训练为 51.57，用 Dex1B 训练为 64.79。BC w. PointNet 也从 ARCTIC 训练的 30.16 Dex1B test 提升到 Dex1B 训练的 56.88。这说明 Dex1B 的价值不只是给 DexSimple 这个模型加分；连更朴素的 BC baseline 也能从更大、更均衡的轨迹数据中获益。

Articulation method	Training data	Eval ARCTIC train	Eval ARCTIC test	Eval Dex1B train	Eval Dex1B test
BC w. PointNet	ARCTIC	41.03	25.62	37.65	30.16
DexSimple	ARCTIC	48.75	23.08	49.16	51.57
BC w. PointNet	Dex1B	57.50	63.67	64.74	56.88
DexSimple	Dex1B	72.00	73.49	77.05	64.79

5.3 Scaling law、ablation 与 real-world 结果

Figure 11 解读：scaling 图展示减少训练数据后 lifting 与 articulation 的 performance degradation ratio。两类任务都随数据量增加而提升；lifting 对数据减少更敏感，因为稳定抓取更依赖对单个物体几何的精细理解，而 articulation 更偏轨迹执行，能通过更一般的 motion pattern 对 unseen object 保持一定韧性。

几何损失 ablation 是 DexSimple 方法有效性的核心证据。去掉 sphere-representation SDF loss 后，success rate 从 full model 的 63.7 直接跌到 0.7， $Q_{1}$ 从 0.075 跌到 0.001，penetration 从 0.29 恶化到 0.92；这说明 SDF loss 不是锦上添花，而是生成抓取可行性的必要条件。去掉 distance loss 后，success rate 变为 42.0， $Q_{1}$ 变为 0.044，penetration 反而从 0.29 变好到 0.23；作者解释为 distance loss 鼓励稳定接触，可能略增加 penetration，但明显提升成功率和抓取质量。H mean/H std 变化很小，说明这些几何损失主要影响质量而非多样性。

Ablation	Success Rate ↑	$Q_{1}$ ↑	Penetration ↓	H mean ↑	H std ↓
w/o $L_{sdf}$	0.7	0.001	0.92	8.58	0.16
w/o $L_{D}$	42.0	0.044	0.23	8.65	0.16
Full Model	63.7	0.075	0.29	8.53	0.25

Figure 12 解读：real-world 图展示直接部署预测 pose 的结果，平台包括 xArm+Ability Hand 和 H1+Inspire Hand。流程是用相机 partial point cloud 输入模型，采样 128 poses，选择有效 IK，再用 motion planning 执行。它验证 Dex1B/DexSimple 不只是仿真表格好看，至少在 open-loop grasping setting 下具备直接 sim-to-real 的可行性。

真实实验结果非常直接：在 XArm+Ability Hand 上，10 个 unseen objects、每个 5 trials，DexSampler 平均成功率 58%，Ours 平均成功率 96%。逐物体结果为 DexSampler：2/5、3/5、5/5、3/5、1/5、4/5、2/5、5/5、1/5、3/5；Ours：4/5、5/5、5/5、5/5、5/5、5/5、5/5、5/5、5/5、4/5。这个差距与仿真 ablation 的结论一致：几何约束与大规模数据帮助模型输出更稳定、可执行的抓取。

论文同时明确给出三点 limitation。第一，方法主要生成 key-frame actions，真实部署时是 open-loop，因此容易受到 sim-to-real gap、控制误差和观测误差影响。第二，生成模型虽然比纯优化高效，但整个数据引擎仍依赖仿真过滤 successful data，simulation runtime 仍然昂贵；未来需要降低数据生成中的仿真成本。第三，论文主要考虑 single-object scene，多物体场景可能需要更强的 vision backbone。这些限制很重要：Dex1B 证明了 billion-scale synthetic demonstrations 的价值，但并未解决闭环视觉伺服、多物体遮挡、长期任务规划或低成本真实数据校准问题。

Paper Notes

探索

Dex1B: Learning with 1B Demonstrations for Dexterous Manipulation

Dex1B: Learning with 1B Demonstrations for Dexterous Manipulation

1. Motivation (研究动机)

2. Idea (核心思想)

3. Method (方法)

3.1 Dex1B benchmark 与任务定义

3.2 Iterative data engine：optimization seed、生成扩张、simulation critic 与 debiasing

3.3 DexSimple：PointNet + conditional CVAE + geometry-aware objectives

3.4 数据多样性与可视化

3.5 代码搜索与 code-to-paper 映射

4. Experimental Setup (实验设置)

5. Experimental Results (实验结果)

5.1 DexGraspNet grasp synthesis：DexSimple 在质量指标上明显超过基线

5.2 Dex1B 训练数据优于 DexYCB/ARCTIC，人类示教规模不足成为瓶颈

5.3 Scaling law、ablation 与 real-world 结果

目录