企业官网建设流程全解析

EasyWAM-Unified-Wan22架构原理：单一Video DiT如何实现视频与动作Token双向耦合

EasyWAM-Unified-Wan22 是基于 Wan2.2-TI2V-5B 视频扩散主干构建的世界动作模型（World Action Model, WAM）权重仓库：它用单一 Video DiT同时表示并去噪视频 Token 与动作 Token，让两种模态在同一组 self-attention 层中双向耦合。全参数模型在 LIBERO 基准上平均成功率达 98.6%，是机器人模仿学习方向一个值得关注的开源架构方案。

核心问题：视频预测与动作控制为什么要"合一"

传统的世界模型通常把"预测下一帧视频"和"输出机器人动作"拆成两个模块：一个视频生成器负责想象未来，一个策略网络负责产出动作，两者之间靠中间表示传递信息。这种分离结构天然存在模态割裂——视频分支并不知道动作分支在关注什么细节，动作分支也只能间接读取视觉特征。

EasyWAM-Unified 给出的答案更彻底：

用一个单一 Video DiT 联合表示并去噪视频与动作 Token，两种模态通过同一批 self-attention 层实现双向耦合。（来源：README.md）

翻译成直白的话：把机器人动作序列"当作另一种 Token"，与视频 Token 拼在一起，交给同一个扩散模型一起去噪。视频 Token 能"看到"动作 Token，动作 Token 也能"看到"视频 Token，信息在每一层注意力中双向流动，而不是单向串联。

架构拆解：三个关键设计

1. 单一 Video DiT 主干（Wan2.2-TI2V-5B）

模型底座是 Wan2.2-TI2V-5B 视频生成模型（文本/图像生视频，50 亿参数级）。它原本只负责"视频像素的去噪"，EasyWAM-Unified 在此基础上扩展了主干 Video DiT 的目标模块，使动作 Token 能够进入同一套注意力计算。这种"借用成熟视频扩散主干"的做法，让模型天然继承了预训练视频模型强大的视觉动态先验——这正是世界动作模型最稀缺的资产。

2. 视频 Token 与动作 Token 同序列去噪

在扩散过程中，视频 Token 和动作 Token 组成同一条 Token 序列，共享同一套 self-attention 层：

• 正向：动作 Token 在每一步去噪时都能 attend 到当前视频上下文，从而依据"画面里正在发生什么"来修正动作预测；
• 反向：视频 Token 也能 attend 到动作 Token，视频预测会"知道"机器人打算做什么，从而生成与动作意图一致的物理动态（例如夹爪即将闭合，视频中物体的形变轨迹就更合理）。

这就是标题里所说的"双向耦合"，它避免了 MoT（Mixture-of-Transformers）类架构中常见的多专家分支切换，也不需要像 Hidden 类方案那样依赖隐状态旁路传递。

3. State Token 采用sequence排布

仓库中所有检查点的状态 Token 放置方式统一为state_position: sequence，即机器人本体状态被作为序列中的 Token 参与建模，而不是额外通道（来源：README.md）。评估时这一协议保持不变，保证了结果的可复现性。

LIBERO 基准成绩：全参数 98.6% 平均成功率

在 EasyWAM 的 LIBERO 评估协议（每任务 50 次试验）下，EasyWAM-Unified与同主干的其他架构对比如下：

全参数（Full-Parameter）

LoRA（Rank 128）

LIBERO-Plus 鲁棒性测试（全参数）

几点解读：

• 全参数版本在四大 LIBERO 套件上全部进入第一梯队，其中 Spatial、Object、Goal 三项（98.4 / 98.8 / 99.2）均领先于同主干的 MoT 系列；
• LIBERO-Plus 平均 79.0，为对比模型中最高，说明单一 DiT 双向耦合在背景变化、光照变化等扰动下迁移更稳；
• LoRA 版本在 LIBERO-10 上明显掉点（66.2），这是低秩微调视频扩散主干的共性现象，使用 LoRA 权重时需留意该短板。

仓库内容与检查点文件说明

本仓库只发布权重与统计文件，训练与推理代码位于 EasyWAM 主代码库。文件清单如下：

需要注意：LoRA 检查点不包含完整的 Wan2.2 主干权重，加载或评估前必须先按 EasyWAM 官方的 Wan2.2 backbone 指南下载并配置主干权重路径；且它必须使用配套的_lora任务配方加载，因为同一文件里还存放了其他可训练的 EasyWAM 模块。

如何下载与评估：最快上手路径

第一步：下载权重

hf download OpenMOSS-Team/EasyWAM-Unified-Wan22 \ libero_unified_wan22.pt \ libero_unified_wan22_lora_128.pt \ libero_dataset_stats.json \ --local-dir ./checkpoints

第二步：准备环境

安装 EasyWAM 代码库，并按官方指南完成两件事：

1. 配置 Wan2.2-TI2V-5B 主干依赖（backbone guide）；
2. 搭建 LIBERO 仿真环境（LIBERO evaluation guide）。

第三步：运行评估

# 全参数检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22 \ ckpt=./checkpoints/libero_unified_wan22.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json # LoRA 检查点 python experiments/libero/run_libero_manager.py \ task=libero_easywam_unified_wan22_lora \ ckpt=./checkpoints/libero_unified_wan22_lora_128.pt \ EVALUATION.dataset_stats_path=./checkpoints/libero_dataset_stats.json

默认协议会对全部四个 LIBERO 套件、每任务 50 次试验进行评估；多卡机器可追加MULTIRUN.num_gpus=<gpu-count>参数并行分发。

总结：这套架构的价值与适用场景

EasyWAM-Unified-Wan22 证明了在 Wan2.2 视频扩散主干上，"单一 Video DiT + 视频/动作 Token 同序列去噪"这一极简结构，就能在 LIBERO 上取得 98.6% 的全参数平均成功率与 79.0 的 LIBERO-Plus 鲁棒性平均，且鲁棒性领先同主干的 MoT 系列。对研究者而言，它提供了一个干净的对照基线：想验证视频生成能力如何迁移为机器人控制能力，这套权重与评估脚本可以直接复现。需要留意的是 LoRA 版本在 LIBERO-10 上的短板，以及权重采用的 CC BY-NC 4.0 许可（仅限非商用研究用途），商用场景建议关注 EasyWAM 主代码库（MIT 许可）与后续发布。