☰
斯坦福 OpenWAM 论文解读与评析
2026/10/19 7:15:03 网站建设 项目流程

论文:OpenWAM: An Open Framework for Composable World-Action Models(arXiv 2610.07922,斯坦福大学,作者包括 Li Fei-Fei、Jiajun Wu、Ehsan Adeli 等,2026-10)

这篇和上一篇 NUS 等机构的 OpenWAM(2609.07398)同名,是同期工作。作者在文中明确把对方列为 concurrent work,并说明自己的关注点和对方互补。


一、研究动机

  1. WAM 设计无法横向比较:DreamZero、DVA、LingBot-VA 等系统同时改变了视频主干、交互结构、监督方式和推理过程,单独比较"视频和动作怎样交互"这一个因素几乎不可能。
    • 视频和动作可以联合生成、按顺序生成,或者只通过受限的跨模态连接交互。需要一个共享的架构和评测协议,在可控条件下比较这些方式。
  2. 成功示教只覆盖很小一部分动作-结果关系:示教在每个状态下基本只给出一种"正确"的后续动作。失败、探索、反事实的交互同样包含局部动力学信息,但现有方法很少利用。
  3. 部件能否复用的问题:当视频预测器被适配到新任务时,原先训练好的"动作落地"部件(逆动力学模型)还能不能直接用?更宽的状态转移覆盖能不能提高这种复用性?

一句话概括:固定一个共同的视频底座,只改变"视频和动作谁先生成、能否互相看到",同时研究如何用反事实数据训练出可复用的独立动力学部件。


二、要点概述

如图 1所示OpenWAM概述:

1. 统一的建模框架

用两种链式分解把四类部件统一起来:

  • p(O⁺, A⁺ | C) =CVP(因果视频预测)×IDM(逆动力学)
  • p(O⁺, A⁺ | C) =VLA(直接出动作)×FDM(前向动力学)

其中 C 是任务上下文,包括历史观测、当前帧、历史动作、本体感知和语言指令。

2. 因果机器人视频底座

  • 从Wan2.2-5B出发,在约14.6k 名义小时、334 万条轨迹的视频上继续预训练,不使用任何动作标签。数据来源包括 OXE、AgiBot World、InternData-A1(占一半)、RoboCOIN、RoboMIND、FastUMI、UMI 系列和 Ego-Exo4D。
  • 引入块级因果(chunk-causal):每个未来块只能看当前和之前的块,块内仍然联合去噪。原版 Wan 不是时间因果的,这一步是在适配。
  • 算力:32 张 B200 训练 14 天。

3. 可配置的视频-动作交互

  • 共享 MoT 架构:5B 视频专家加2B 动作专家,动作专家用视频层按宽度适配后的副本初始化,两条流在打包的视频和动作 token 上做联合注意力。
  • 四种交互程序,只改变生成顺序和"未来跨模态可见性",主干、tokenization 和目标函数完全相同:
程序含义
VTA(先视频后动作)先生成未来视频,再以视频为条件生成动作。
ATV(先动作后视频)先生成动作,再预测这些动作产生的视觉结果。
Joint(联合)同时去噪,两条流的未来 toke

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询