《Diffusion Policy 范式 VLA 的 PPO 训练原理：从 Diffusion Action Generation 到 LogProb 计算完整技术解析》
整体结构保持一致：
- 第一章：为什么 Diffusion Policy 需要重新理解 PPO 中的 logprob
- 第二章：Diffusion Policy 的概率建模原理
- 第三章：Diffusion Policy 如何计算 PPO 所需的 logprob
- 第四章：工程实现中的 Diffusion PPO（Exact Likelihood、ELBO、Surrogate LogProb）
- 第五章：Diffusion VLA PPO 完整训练框架与工程实现总结
并包含10 个图标题文本，格式：
图 1｜传统 Gaussian Policy 与 Diffusion Policy 的概率建模方式对比
图标题只提供文本，不生成图片。
由于完整技术文档预计约20000～24000 字，单次回复长度会超过消息限制。我将分章节连续输出。
下面开始：
