RL基础理论02-Diffusion Policy 范式 VLA 的 PPO 训练原理01:从 Diffusion Action Generation 到 LogProb 计算完整技术解析
2026/10/14 23:58:46
网站建设
项目流程
《Diffusion Policy 范式 VLA 的 PPO 训练原理:从 Diffusion Action Generation 到 LogProb 计算完整技术解析》
整体结构保持一致:
- 第一章:为什么 Diffusion Policy 需要重新理解 PPO 中的 logprob
- 第二章:Diffusion Policy 的概率建模原理
- 第三章:Diffusion Policy 如何计算 PPO 所需的 logprob
- 第四章:工程实现中的 Diffusion PPO(Exact Likelihood、ELBO、Surrogate LogProb)
- 第五章:Diffusion VLA PPO 完整训练框架与工程实现总结
并包含10 个图标题文本,格式:
图 1|传统 Gaussian Policy 与 Diffusion Policy 的概率建模方式对比
图标题只提供文本,不生成图片。
由于完整技术文档预计约20000~24000 字,单次回复长度会超过消息限制。我将分章节连续输出。
下面开始:
第一