论文:OpenWAM: An Open Framework for Composable World-Action Models(arXiv 2610.07922,斯坦福大学,作者包括 Li Fei-Fei、Jiajun Wu、Ehsan Adeli 等,2026-10)
这篇和上一篇 NUS 等机构的 OpenWAM(2609.07398)同名,是同期工作。作者在文中明确把对方列为 concurrent work,并说明自己的关注点和对方互补。
一、研究动机
- WAM 设计无法横向比较:DreamZero、DVA、LingBot-VA 等系统同时改变了视频主干、交互结构、监督方式和推理过程,单独比较"视频和动作怎样交互"这一个因素几乎不可能。
- 视频和动作可以联合生成、按顺序生成,或者只通过受限的跨模态连接交互。需要一个共享的架构和评测协议,在可控条件下比较这些方式。
- 成功示教只覆盖很小一部分动作-结果关系:示教在每个状态下基本只给出一种"正确"的后续动作。失败、探索、反事实的交互同样包含局部动力学信息,但现有方法很少利用。
- 部件能否复用的问题:当视频预测器被适配到新任务时,原先训练好的"动作落地"部件(逆动力学模型)还能不能直接用?更宽的状态转移覆盖能不能提高这种复用性?
一句话概括:固定一个共同的视频底座,只改变"视频和动作谁先生成、能否互相看到",同时研究如何用反事实数据训练出可复用的独立动力学部件。
二、要点概述
如图 1所示OpenWAM概述:
1. 统一的建模框架
用两种链式分解把四类部件统一起来:
- p(O⁺, A⁺ | C) =CVP(因果视频预测)×IDM(逆动力学)
- p(O⁺, A⁺ | C) =VLA(直接出动作)×FDM(前向动力学)
其中 C 是任务上下文,包括历史观测、当前帧、历史动作、本体感知和语言指令。
2. 因果机器人视频底座
- 从Wan2.2-5B出发,在约14.6k 名义小时、334 万条轨迹的视频上继续预训练,不使用任何动作标签。数据来源包括 OXE、AgiBot World、InternData-A1(占一半)、RoboCOIN、RoboMIND、FastUMI、UMI 系列和 Ego-Exo4D。
- 引入块级因果(chunk-causal):每个未来块只能看当前和之前的块,块内仍然联合去噪。原版 Wan 不是时间因果的,这一步是在适配。
- 算力:32 张 B200 训练 14 天。
3. 可配置的视频-动作交互
- 共享 MoT 架构:5B 视频专家加2B 动作专家,动作专家用视频层按宽度适配后的副本初始化,两条流在打包的视频和动作 token 上做联合注意力。
- 四种交互程序,只改变生成顺序和"未来跨模态可见性",主干、tokenization 和目标函数完全相同:
| 程序 | 含义 |
|---|---|
| VTA(先视频后动作) | 先生成未来视频,再以视频为条件生成动作。 |
| ATV(先动作后视频) | 先生成动作,再预测这些动作产生的视觉结果。 |
| Joint(联合) | 同时去噪,两条流的未来 toke |