企业官网建设流程全解析

## 摘要 本文解读 CoRL 2025（Oral）论文《X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real》。该论文提出**真实—仿真—真实（real-to-sim-to-real）框架 X-Sim**，通过融合**人类视频中的物体运动跟踪**、**照片级真实 Gaussian Splatting 仿真**与**在线自标定的图像条件扩散策略**，让机器人只观看一段无动作标签的人类视频就能学会操作任务，其特别之处在于**完全不采集任何机器人遥操作数据**——它不翻译人的动作，只在仿真里复现动作所造成的物体运动。实验表明**该框架在 5 个真实任务的 10 次真机 rollout 上取得 83.3% 的平均任务进度，部署期在线标定后进一步提升到 90.7%，比不依赖仿真的手部跟踪基线高出 30 个百分点以上**（基线 Hand Mask 26.7%、Object-Aware IK 60.0%），并且用 1 分钟人类视频达到 90% 成功率，媲美 10 分钟机器人演示的 70%，为跨具身机器人学习与真实到仿真的数据生成提供了重要借鉴。 **视频讲解**：[点击观看 B 站视频](https://www.bilibili.com/video/BV1iSYe6CEPr) [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题（英文） | X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real | | 标题（中文） | X-Sim：用「真实—仿真—真实」闭环从人类视频学会机器人操作 | | 作者 | Prithwish Dan, Kushal Kedia, Angela Chao, Edward W. Duan, Maximus A. Pace, Wei-Chiu Ma, Sanjiban Choudhury | | 机构 | Cornell University | | 会议 | CoRL 2025（Oral） | | arXiv | [arXiv:2505.07096](https://arxiv.org/abs/2505.07096) | | 项目网站 | [portal-cornell.github.io/X-Sim](https://portal-cornell.github.io/X-Sim/) | ## 背景与动机 机器人策略的主流训练范式是模仿学习：用遥操作采集大量图像—动作对，再训练行为克隆策略。问题在于**数据采集本身就是瓶颈**。要让策略覆盖新的任务与新环境，就得反复teleoperation（遥操作），即使已经有 DROID、Open X-Embodiment 这类大规模机器人数据集与 OpenVLA、π 系列这类机器人基础模型，in-domain 数据依然不可或缺。 人类视频看起来是天然的解药：YouTube 上有取之不尽的演示，采集成本几乎为零，还天然覆盖真实环境。但它有一个致命缺陷——**没有机器人动作标签**。已有的三条绕行路线都有各自的硬约束： - **重定向人手运动**：假设人手的运动对机器人是可行的（"assumes that human movements are feasible for the robot to replicate … which is rarely the case in practice"）。这在实践中很少成立。 - **视觉域修补**：PHANTOM / SHADOW 一类方法用黑 mask 盖住人手，再在推理时同样遮住机械臂，试图消除训练与测试之间的视觉域差。但当人手与机械臂的形态差异过大时，剩下的信息只有"物体在哪里"。 - **成对数据翻译**：Vid2Robot、MimicPlay 一类方法需要成对的人类—机器人演示，采集昂贵且难以规模化。 真实到仿真到真实这条线已经进入仿真学习策略，但仍有关键缺口：RialTo 用点云部署并需要真实数据，ResiP 需要在真机上先训好一个图像策略再做残差学习，与本文最相关的 **Human2Sim2Robot** 虽然同样从单段人类视频出发，却在推理时依赖精确的 6D 物体位姿跟踪——而遮挡、深度噪声与视觉模型误差会让微小跟踪误差直接把策略推出训练分布。 X-Sim 的突破口是一次问题重述：**动作虽然不可得，但动作所造成的物体运动是可以完整测量的**，而物体运动与执行者的具身形态无关。 ## 研究主线：从问题到结论  **图 11：X-Sim 的研究主线（Mermaid 流程图）。把「人类视频无动作标签」这一问题，经由「物体运动是具身无关的监督信号」这一动机，转化为真实到仿真、仿真强化学习与在线标定三阶段方法，最终在 5 个真机任务上验证。** ## X-Sim 基准设计：真实—仿真—真实三阶段框架 X-Sim 的框架由三个阶段构成，每个阶段解决一个具体障碍。 **阶段一 · 真实到仿真（Real-to-Sim）** 解决"没有动作标签"：用 off-the-shelf 的 3D 扫描 App 得到待操作物体的高保真网格，用 Segment Anything 生成首帧掩码，再用 FoundationPose 在整个视频上跟踪每个物体的位置与旋转，得到六自由度物体轨迹；同时用 2D Gaussian Splatting 从多视角图像重建环境的几何与外观，直接导入 ManiSkill 仿真器。 **阶段二 · 在仿真中生成机器人动作** 解决"人类动作与机器人动作不可比"：把人类的物体轨迹降采样为若干里程碑（waypoint），定义物体中心的稠密奖励，用 PPO 训练一个可观测特权状态（物体位姿、目标位姿、末端位姿、夹爪开合、抓取标志）的策略，再把它 rollout 成大量图像—动作对。 **阶段三 · Sim-to-Real** 解决"仿真与真实的观测差异"：把特权状态策略蒸馏成只看单张 RGB 图像的条件扩散策略，并在部署后引入在线自标定，用真实与仿真的配对观测继续对齐观测编码器。  **图 1：X-Sim 总览。左侧 Real-to-Sim 从人类视频提取物体状态并重建照片级仿真；中间在 GPU 并行环境中用特权状态训练强化学习策略，再收集多样的图像—动作数据蒸馏出图像条件策略；右侧图像策略部署到真机，其观测编码器在测试期用真实与仿真的配对观测自动标定。** 值得注意的是，论文对真实到仿真环节的成本做了明确的量化：环境的多视角视频采集**不到 2 分钟**，单个物体的 Polycam 扫描**不到 1 分钟**，网格尺度目前手工对齐（也可以换成自动标定方法）。 ## 分类全景 从"如何绕开动作标签"这个角度看，跨具身学习可以分成四条路线，X-Sim 选择了其中最彻底的一条。  **图 12：四条技术路线的取舍对比（Mermaid 分类图）。前两条路线受制于运动学可行性与视觉域差，第四条的共训路线仍需真机数据，只有第三条把监督信号本身换掉，才同时摆脱了这两个约束。** ## X-Sim 方法细节：奖励设计、合成数据与在线标定 ### 物体中心奖励：把物体轨迹翻译成奖励 有了物体轨迹，任务就被表述为目标条件强化学习问题。论文把轨迹降采样为 $N$ 个里程碑，每个里程碑 $s_H^B$ 给出所有被跟踪物体的期望位姿，奖励由两部分相加而成：$r_{\rm obj} = r_{\rm approach} + r_{\rm goal}$。 其中靠近项把末端执行器拉向下一件待操作物体，形式为 $r_{\rm approach} = 1 - \tanh(k d_{\rm obj})$，$d_{\rm obj}$ 是末端执行器与当前目标物体的距离，$k$ 是常数缩放因子。目标项则同时惩罚位置与旋转偏差，形式为 $r_{\rm goal} = (1 - \tanh(\alpha_d d_{\rm pos})) + (1 - \tanh(\alpha_\theta d_{\rm rot})) + 2 i_{\rm waypoint}$，其中 $d_{\rm pos}$ 度量当前物体位姿与目标里程碑位姿之间的欧氏距离，$d_{\rm rot}$ 度量两者的四元数夹角，$\alpha_d$ 与 $\alpha_\theta$ 是由演示自动计算的缩放因子，$i_{\rm waypoint}$ 是当前里程碑序号，作为推进任务的进度奖励。还有一个关键设计：当物体位姿进入 $\epsilon$ 阈值，观测中的 `desired_goal` 就切换到下一个里程碑，于是单步定位问题自然变成了多步操作。此外还有稳定项 $r_{\rm static}$、完成奖励 $r_{\rm success} = +1$，以及可选的抓取奖励 $r_{\rm grasp}$。 这套公式与"把人类的手映射到机器人的手"有一个本质区别：**它从不要求人类与机器人执行相同动作**，只要求最终物体的位姿序列一致。正因如此，人类可以用任何抓取方式、任何速度完成任务，机器人的动作可以完全不同。 ### 合成数据：随机化换来的鲁棒性 RL 策略只收敛到一条轨迹是不够的。论文在 rollout 时系统性地随机化：物体初始位置噪声 $\pm 0.025$ m、初始旋转噪声 $\pm \pi/8$ rad、机器人初始关节角噪声 $\pm 0.02$ rad、相机位置与目标位置变化 $\pm 0.03$ m、4 组光照预设，每个任务收集 **500 条**合成演示，并且只保留成功轨迹。同一段人类演示由此被扩展成覆盖大量视角与状态条件的图像—动作数据集。  **图 2：Real-to-Sim。X-Sim 用多视角图像重建几何准确的照片级真实环境，并从 RGBD 人类视频中逐帧跟踪物体运动，用以定义稠密的物体中心奖励函数，从而在仿真中训练 RL 策略。** ### 在线自标定：连失败轨迹也是对齐样本 即使仿真照片级真实，3D 重建与渲染的瑕疵仍会留下观测差异。论文的做法是：初始策略部署到真机后，收集真实闭环 rollout 的观测——**包括失败的 rollout**——然后把机器人放回同样的初始状态，在仿真中重放完全相同的机器人轨迹，得到成对的真实/仿真图像 $D_{\rm paired}$。 训练时的损失是标准的扩散行为克隆损失加上一项对比项：$\mathcal{L}_{\rm cal}$ 用 InfoNCE 的形式，把同一机器人状态在真实与仿真下的嵌入 $s(\phi(o^{\rm sim}), \phi(o^{\rm real}))/\tau$ 拉近、把错配的对推远，其中 $\phi$ 是策略的图像编码器、$\tau$ 是温度系数、$s$ 是余弦相似度，权重为 **0.1**。这一步不需要任何标注，也不关心 rollout 是否成功。  **图 3：Sim-to-Real。（左）用物体位姿、机器人关节、相机与光照的多种随机化生成合成图像—动作数据集，把特权状态策略蒸馏为图像条件策略。（右）部署期把真实策略 rollout 搬回仿真重放，得到真实/仿真配对图像，用其差异最小化视觉域差。** ## 实验设计与结果 实验平台是 **7-DOF Franka** 机械臂配平行夹爪，覆盖 **2 个真实环境**（Kitchen 厨房与 Tabletop 桌面）与 **5 个任务**，人类视频用 ZED 2 立体相机录制，对动作与抓取风格**不加任何约束**。主指标是**平均任务进度（Avg. Task Progress）**，按阶段给部分分：需要抓取的任务分解为「靠近正确物体 33.3% → 成功抓稳 66.7% → 变换到目标位姿 100%」，非抓取任务把后两段分给「转对」与「移对」。每个方法在每个任务上做 **10 次**真机 rollout，物体初始位置相对演示状态做轻微扰动。 三个基线分别是 **Hand Mask**（PHANTOM 风格，训练与推理都遮住手/机械臂）、**Object-Aware IK**（从人类视频提取手—物相对轨迹，再用逆运动学回放给机器人）与 **Human2Sim2Robot**（在仿真中学习，但推理时依赖 6D 物体位姿跟踪）。三者都不使用本文的仿真数据生成流程。 ### 主结果：五个任务的平均任务进度 | 任务 | Hand Mask | Object-Aware IK | X-Sim | X-Sim (Calibrated) | |---|---|---|---|---| | Mustard Place（抓取放置） | 23.3 | 80.0 | 93.3 | **93.3** | | Corn in Basket（抓取放置） | 26.7 | 86.7 | **100.0** | **100.0** | | Shoe on Rack（抓取放置） | 30.0 | 66.7 | 83.3 | **96.7** | | Letter Arrange（非抓取） | 26.7 | 36.7 | 83.3 | **93.3** | | Mug Insert（精密插入） | 26.7 | 30.0 | 56.7 | **70.0** | | **平均** | 26.7 | 60.0 | 83.3 | **90.7** | 数值单位为百分比，读取自论文 Fig. 2，每格为 10 次真机 rollout 的平均任务进度。  **图 4：五个评测任务的可视化。从抓取放置（芥末瓶换位、玉米入篮、鞋上架）到非抓取操作（字母对齐）与精密插入（杯柄插入），任务越靠后，人类与机器人的执行差异越大。**  **图 5：真机任务表现。5 个任务 × 2 个环境上的平均任务进度，X-Sim 与其标定版本一致优于试图重定向人手运动的手部跟踪基线；图中上方为各任务的示意草图。** ### 在线标定：从 83.3% 到 90.7% | 任务 | X-Sim | X-Sim (Calibrated) | 增益 | |---|---|---|---| | Mustard Place | 93.3 | 93.3 | 0.0 | | Corn in Basket | 100.0 | 100.0 | 0.0 | | Shoe on Rack | 83.3 | 96.7 | +13.4 | | Letter Arrange | 83.3 | 93.3 | +10.0 | | Mug Insert | 56.7 | 70.0 | +13.3 | | **平均** | 83.3 | 90.7 | **+7.4** | 标定在所有任务上都只增不减，平均提升约 **8%**，在最难的精密插入任务 Mug Insert 上提升 **13%**。论文特别强调这个过程的两个性质：它**不依赖 rollout 是否成功**（a procedure that is agnostic to success/failure），甚至可以从失败中受益。这在实践中意味着标定不需要额外的专家介入，只要让策略在真机上跑十条轨迹（论文中为 10 条）即可。  **图 6：Sim-to-Real 标定。对单条 rollout 比较 X-Sim 图像嵌入在标定前后的 t-SNE 分布；标定后真实与仿真的嵌入对齐更好，说明编码器不再过拟合域特有属性，而是聚焦任务相关特征。** ### 失败模式：两条基线为什么上不去  **图 7：手部重定向的失败模式。Hand Mask 因人类与机器人之间显著的视觉域差而失败（即便动作对机器人物理可行）；Object-Aware IK 在用人手动作直接模仿时，因运动学或动力学不可行而失败。** 两条失败模式恰好对应了两条路线的根本约束。**Hand Mask 在全部 5 个任务上从未突破 33.3%**，也就是从未越过“靠近”这一阶段——它从人类视频中保留下来的信息只有物体的位置。**Object-Aware IK** 在 Kitchen 任务上可以到 80% 以上（Mustard Place 80.0%、Corn in Basket 86.7%），因为厨房任务里人手与机械臂的执行风格接近；但到了 Tabletop 任务就崩溃：Letter Arrange 只有 36.7%，Mug Insert 只有 30.0%，因为人的手可以做的动作，Franka 的平行夹爪在运动学与动力学上做不到。 X-Sim 则完全没有这类约束：它不复现动作，只复现结果。 ### 数据效率：1 分钟人类视频 vs 10 分钟机器人演示  **图 8：数据效率。X-Sim 随数据采集时间的扩展效率高于基于机器人遥操作的行为克隆，在 Mustard Place 上用 10 倍更少的采集时间取得可比的成功率。** 论文把 Mustard Place 改造成一个初始状态分布被大幅放宽的版本，让覆盖整个分布变得昂贵。在同样的评测分布上： - **行为克隆**：需要 **10 分钟**机器人遥操作演示，成功率 **70%**； - **X-Sim**：只需 **1 分钟**人类视频（3 段 × 20 秒），成功率 **90%**。 差一个数量级的采集时间，成功率反而更高。原因有两层：一是采集效率本身——一段人类视频 20 秒，一次机器人演示 60 秒；二是仿真可以对物体位姿做任意扰动，用极低成本扩大状态覆盖。  **图 9：数据效率消融的训练状态可视化。机器人遥操作数据的采集需要 10 分钟，人类视频只需要 1 分钟；在仿真中物体的起始位姿还会被进一步扰动，既让 RL 策略更鲁棒，也让合成数据覆盖更广。** ### 鲁棒性：多视角数据几乎零成本 图像条件策略对视角极其敏感，通常需要为每一个新视角重新采集数据。X-Sim 的做法是利用仿真渲染任意视角的能力，用 Side 与 Frontal 两个视角的数据训练策略。结论是：单视角训练的策略换到另一个视角会大幅退化，而把两个视角的数据合起来训练，不仅两个视角都变好，对训练中没见过的第三个视角也有明显泛化。  **图 10：视角变化的可视化。仿真可以按任意视角渲染轨迹，因此多视角数据几乎是零成本；实验在 Side / Frontal / Novel 三种相机视角上评估 Shoe on Rack 任务。** ## 结果对比总结  **图 13：结果链条（Mermaid 流程图）。从单条人类视频出发，经由真实到仿真与仿真强化学习，图像策略达到 83.3%，在线标定后到 90.7%，显著超过两个手部跟踪基线，并在数据效率上取得一个数量级的优势。** ## 关键发现 - **物体运动是跨具身可迁移的监督信号**。论文在引言中把它作为核心洞察明确写出："while human actions are unavailable, the object motion they produce provides a dense supervisory signal for training robot policies in simulation"。 - **纯视觉修补存在结构性上限**。Hand Mask 在 5 个任务上的平均进度为 26.7%，**从未突破 33.3%** 的"靠近"阶段，说明抹掉人手之后剩下的信息不足以支撑操作。 - **执行不匹配是重定向路线的真正瓶颈**。Object-Aware IK 在 Kitchen 上可达 86.7%，但 Tabletop 任务掉到 30%–36.7%，**同一方法在两类环境间相差 50 个百分点以上**。 - **在线标定能从未成功的轨迹里学习**。标定平均带来 **+7.4 个百分点**，在最难的 Mug Insert 上带来 **+13.3 个百分点**，且不使用任何专家标注。 - **数据效率差一个数量级**。1 分钟人类视频达到 90% 成功率，10 分钟机器人演示只有 70%；采集环节的 20 秒 vs 60 秒之差被仿真的可控随机化进一步放大。 - **视角泛化可以靠渲染解决**。用 Side + Frontal 双视角训练后，对未见视角的进度从单视角的 30%–33.3% 提升到 **53.5%**。 ## 局限性 论文在 Limitations 中对真实到仿真环节做了完整假设披露，并给出了各自的解决方向： 1. **依赖物体网格**。跟踪环节使用 FoundationPose，需要被操作物体的 3D 网格，因此无法处理"不知道或没有该物体网格"的视频。出路是用 InstantMesh 一类的单图网格估计，或从 BEHAVIOR-1K 这类大规模 3D 资产库检索近似网格——仿真只是用来生成数据，近似网格即可。 2. **仅限刚性物体**。整条流程以 6D 位姿跟踪为核心，天然排除关节物体（抽屉、门）与可变形物体。前者可以借助视觉先验估计关节参数，后者需要粒子式表示。 3. **需要环境 3D 扫描**。仿真场景依赖对环境的显式重建，缺少扫描时无法启动。St4RTrack 一类从单目视频同时重建几何与外观的方法，配合 Ego4D 这类自带相机运动的数据集，是可以去掉扫描要求的路径。 4. **物理参数未估计**。质量、摩擦、刚度一律使用仿真默认值，没有从人类视频中辨识。可用视觉语言模型给出类别先验，再叠加域随机化；更进一步，可以把在线标定的框架从**视觉对齐**扩展到**动力学参数**的自监督细化。 作者同时指出，本文聚焦"从零训练"，但这套配方可以直接用于微调预训练策略。 ## 常见问题（FAQ） ### X-Sim 需要采集机器人的遥操作数据吗？ 不需要。这是全文最核心的主张：X-Sim 不需要任何机器人遥操作数据（"without any robot teleoperation data"）。唯一的输入是一段 RGBD 人类视频，加上环境与物体的三维扫描。整个训练数据都在仿真中生成，唯一涉及真机的是部署后为在线标定收集的 10 条策略 rollout，而这些 rollout 不需要人工操作，也不要求成功。 ### X-Sim 为什么不用逆运动学把人的手映射成机器人的动作？ 因为那个假设通常不成立。论文指出重定向方法"assumes that human movements are feasible for the robot to replicate … which is rarely the case in practice"。实验中 Object-Aware IK 在 Kitchen 任务上能到 80% 以上，但在 Tabletop 任务上掉到 30%–36.7%，正是这一假设失效的直接证据。X-Sim 反过来只要求物体运动一致，机器人用什么动作去实现完全自由。 ### 在线自标定的数据从哪来，需要标注吗？ 完全不需要标注，也不需要成功轨迹。做法是：把训练好的初始策略部署到真机，收集其闭环 rollout 的图像观测（包含失败），然后用 FoundationPose 在第一帧恢复初始状态，在仿真中重放完全相同的机器人轨迹，从而得到真实与仿真的配对图像。训练时在行为克隆损失之外加一项权重 0.1 的 InfoNCE 对比损失，把同状态的跨域嵌入拉近。 ### X-Sim 与传统 sim-to-real 的关键区别是什么？ 区别在"仿真里学什么"。RialTo、ResiP 一类工作用仿真做策略鲁棒化或残差精修，但仍需要真实机器人数据作为起点；Human2Sim2Robot 同样从人类视频出发在仿真里学，但推理时依赖精确的 6D 物体位姿跟踪，跟踪误差会让策略分布外失效。X-Sim 则用**原始 RGB 图像**作为部署观测——Letter Arrange 任务上图像策略达到 83.3%，而位姿策略基线只有 43.3%。 ### 数据效率到底高多少？ 在高初始状态分布方差的 Mustard Place 变体上，X-Sim 用 1 分钟人类视频（3 段 × 20 秒）达到 90% 成功率，而行为克隆用 10 分钟机器人遥操作演示只达到 70%。这是一次测量意义上的 10 倍采集时间优势，来源是采集速度（20 秒 vs 60 秒）与仿真中零成本的状态扰动。 ### 这套方法能直接用在互联网视频上吗？ 目前还不能。论文在 Limitations 中明确承认："its application to unstructured, in-the-wild internet videos remains an open challenge"。主要障碍是需要待操作物体的 3D 网格、只支持刚性物体、且需要环境的显式 3D 扫描。作者给出的方向分别是单图网格估计、关节/可变形物体的专门表示，以及从单目视频直接重建环境。 ## 参考链接 - 论文 arXiv 摘要页：[arXiv:2505.07096 — X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real](https://arxiv.org/abs/2505.07096) - 项目主页（含代码与视频）：[portal-cornell.github.io/X-Sim](https://portal-cornell.github.io/X-Sim/) - Diffusion Policy（图像条件扩散策略骨干）：[arXiv:2303.04137](https://arxiv.org/abs/2303.04137) - 2D Gaussian Splatting（环境几何重建）：[surfsplatting.github.io](https://surfsplatting.github.io/) - FoundationPose（零样本 6D 物体跟踪）：[nvlabs.github.io/FoundationPose](https://nvlabs.github.io/FoundationPose/) - Human2Sim2Robot（最相关的仿真内学习基线）：[arXiv:2504.12609](https://arxiv.org/abs/2504.12609) --- > 给大家推荐一款自用写文献综述、无虚构文献的 AI： > > 🌟 **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi)** > > 官网：[qiewenpaper.com](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi) > > 覆盖 **3.6 亿篇**可溯源真实中英文文献，能自动整合文献观点生成规范综述 > > 还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作 --- > **🍀后记🍀** > > 博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。 > > **🌸讨论QQ群**：[白拾的小屋](https://qun.qq.com/universal-share/share?ac=1&authKey=Suzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyTh&busi_data=eyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3D&data=hgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQ&svctype=4&tempid=h5_group_info) (750365700) > > **⭐B站账号**：[白拾的物理AI组会](https://space.bilibili.com/98639326)（活跃于知识区和动画区） > > **✨GitHub主页**：[YhbCode000](https://github.com/yhbcode000)（工程文件）