当前位置：首页 > article >正文

【机器学习】机器学习的基本分类-强化学习-策略梯度（Policy Gradient，PG）

article 2025/1/10 16:56:52

Policy Gradient（策略梯度）是强化学习中基于策略的优化方法，通过直接优化策略函数来最大化累积回报。与基于值的强化学习方法（如 Q-Learning 或 DQN）不同，Policy Gradient 不显式地学习状态值函数 V(s) 或动作值函数 Q(s, a)，而是直接优化策略 $\pi(a|s; \theta)$ 的参数 θ。

核心思想

直接建模策略
- 策略 $\pi(a|s; \theta)$ 是一个概率分布函数，描述了在状态 s 下采取动作 a 的概率。
- 策略函数可以是任何可微的函数（如神经网络）。
目标函数
- 目标是最大化累积期望回报 J(θ)：
  
  $J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \sum_{t=0}^{T} \gamma^t R_t \right]$
- 通过梯度上升更新策略参数 θ。
策略梯度定理
- 策略梯度的形式：
  
  $\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot G_t \right]$
- 其中 $G_t$ 是从时间步 t 开始的累积回报，用于指导更新方向。

策略梯度算法

基本步骤

采样轨迹
- 通过当前策略 $\pi_\theta(a|s)$ 与环境交互，生成一批轨迹（状态、动作、奖励序列）。
计算回报
- 对每条轨迹计算累积回报 $G_t$ ，例如：
  
  $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$
计算梯度
- 对于每个状态-动作对，计算策略梯度：
  
  $\nabla_\theta J(\theta) \approx \frac{1}{N} \sum_{i=1}^N \sum_{t=0}^{T_i} \nabla_\theta \log \pi_\theta(a_t^i | s_t^i) \cdot G_t^i$
更新策略参数
- 使用梯度上升（或梯度下降的负值）更新策略参数 θ：
  
  $\theta \leftarrow \theta + \alpha \nabla_\theta J(\theta)$

伪代码

Initialize policy network with random weights θ

for episode in range(max_episodes):
    Generate trajectories by interacting with the environment using policy πθ
    Compute returns G_t for each step in the trajectories
    Compute policy gradient:
        ∇θ J(θ) = (1/N) * Σ [∇θ log πθ(a_t | s_t) * G_t]
    Update policy network:
        θ ← θ + α * ∇θ J(θ)

优势与不足

优势

连续动作空间适用性
- 可直接处理连续动作空间，而基于值的方法需要离散化动作空间。
策略随机性
- 随机策略可以自然地处理探索与利用的权衡问题。
易于扩展
- 可以扩展到 Actor-Critic 方法（结合值函数的策略梯度）。

不足

高方差
- 策略梯度估计的方差较高，需要大量采样来稳定更新。
收敛性较慢
- 对于复杂环境，单纯的策略梯度方法收敛较慢。
数据利用效率低
- 每次更新策略仅利用采样到的轨迹，未充分使用历史数据。

改进方法

REINFORCE
- 使用完整的累积回报 $G_t$ 代替真实环境奖励。
基线（Baseline）
- 减少梯度方差的一种方法是引入基线函数 b(s)，更新规则变为：
  
  $\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot (G_t - b(s)) \right]$
Actor-Critic
- 结合值函数，使用 Q(s,a) 或 V(s) 来引导策略梯度更新。
Trust Region Policy Optimization (TRPO)
- 限制策略更新的幅度，防止策略更新过大导致性能退化。
Proximal Policy Optimization (PPO)
- 提高更新效率的同时，确保策略更新的稳定性。