企业官网建设流程全解析

第一章 open-wam-α与Embodied Reinforcement Learning整体认识

1.1 为什么 open-wam-α 需要 PPO 强化学习

近年来，Vision-Language-Action（VLA）模型成为机器人智能的重要发展方向。通过大规模视觉、语言和机器人轨迹数据训练，VLA 模型能够将：

• 摄像头观察；
• 人类语言指令；
• 机器人自身状态；

映射为连续控制动作。

传统 VLA 的训练范式主要依赖：

• Behavior Cloning（BC）；
• Supervised Fine-Tuning（SFT）。

其目标是：

学习专家示范动作分布，使模型生成类似专家的数据。

数学上，可以表示为：

max⁡θE(o,a)∼D[log⁡πθ(a∣o)]\max_\theta E_{(o,a)\sim D}[\log\pi_\theta(a|o)]