Proximal Policy Optimization（PPO）算法
前言
PPO是强化学习中的一种策略优化方法，由OpenAI提出。它属于策略梯度算法的一种改进，主要用于解决传统策略梯度方法中训练不稳定的问题。
目录
一.背景
二.核心思想
重要性采样比率
CLIPPED目标函数
三.算法流程
四.优势与应用
五.相关项目
六.总结
一.背景
PPO 是一种强化学习策略优化算法，旨在解决传统策略梯度方法（如REINFORCE）的训练不稳定问题。传统方法因更新步长难以控制，易导致策略性能剧烈波动。PPO通过限制策略更新幅度，确保新策略与旧策略差异可控，从而提升稳定性。
二.核心思想
PPO的核心是限制策略更新的信任区域，避免破坏性的大步更新。其关键创新是Clipped Surrogate Objective，通过裁剪重要性采样比率，约束更新幅度。
重要性采样比率
定义比率 𝑟𝑡(𝜃)&