【强化学习】Q-learning算法详解：含MATLAB和Python实现代码

强化学习属于机器学习，但与以前的监督学习和无监督学习的处理对象和任务都不同。监督学习和无监督学习处理的都是静态的数据，比如文本、图像等，主要是解决分类、回归及聚类等问题。

而强化学习要解决的是 动态的决策问题，是根据不断变化的环境，做出不同的决策，最后生成一个动作序列，以达到某种目的或者最优，处理的数据是动态的。

强化学习的目的，是让计算机学会自主的进行动态的决策。阿尔法围棋软件就是典型的强化学习成果，最近推出的ChartGPT的核心算法，也是基于神经网络组成的强化学习框架。

1. Q-learning算法简介

Q-learning是一种基于值迭代的强化学习算法，属于无模型（model-free）强化学习方法。它通过学习 状态-动作值函数（Q值） 来优化策略，使得智能体在给定环境中获得最大累计奖励。

Q-Learning算法的基本概念

• 状态（State）‌：环境的某个特定情况或配置。
• 动作（Action）‌：在给定状态下可以采取的可能行为。
• 奖励（Reward）‌：采取某个动作后从环境中获得的即时回报。
• 策略（Policy）‌：从状态到动作的映射，指导如何根据当前状态选择动作。
• Q函数（Q-value）‌：表示在状态s下采取动作a的期望回报。

在强化学习中，奖励非常重要，因为样本没有标签，理论上是奖励在引领学习。一般需要人工设置，是强化学习中较为复杂的难点。

Q-Learning算法的核心思想

Q-Learning通过贝尔曼（Bellman）方程来更新Q值，其公式为：

Q-learning算法步骤

1、初始化 Q 表：将所有状态-动作对的 Q 值设为零或随机值

2、选择动作：使用 ε-greedy 策略选择动作：

• 以概率 ϵ 进行随机探索
• 以概率 1−ϵ 选择当前 Q 值最大的动作（贪心策略）

3、执行动作 & 观察奖励：执行动作 a，观察环境的新状态 s′ 和奖励 r

4、更新 Q 值：使用 Q-learning 公式更新 Q 表

5、重复：直到满足终止条件（如达到最大迭代次数或收敛）

Q-Learning算法的特点

• 无需模型‌：Q-Learning不需要环境的动态模型，通过与环境的交互来学习。
• ‌离线学习‌：可以在没有实时环境反馈的情况下，使用已经收集的数据来更新Q值。
• ‌收敛性‌：在满足一定条件下，Q-Learning能够收敛到最优策略。

MATLAB 实现 Q-learning

下面是一个基于 MATLAB 的 Q-learning 示例，应用于一个 5x5 的网格世界（Grid World）。

clc; clear; close all;

% 参数设置
alpha = 0.1;  % 学习率
gamma = 0.9;  % 折扣因子
epsilon = 0.1; % 探索概率
numEpisodes = 500; % 训练回合数
numStates = 25; % 5x5 网格
numActions = 4; % 上、下、左、右
Q = zeros(numStates, numActions); % 初始化 Q 表

% 设定动作映射 (上=1, 下=2, 左=3, 右=4)
actionMap = [-5, 5, -1, 1];

% 训练 Q-learning 代理
for episode = 1:numEpisodes
    state = randi(numStates); % 随机初始化状态
    
    while state ~= 25  % 终止状态（假设25号格子是终点）
        if rand < epsilon  % 采取随机动作（探索）
            action = randi(numActions);
        else  % 采取贪心策略（利用）
            [~, action] = max(Q(state, :));
        end
        
        % 计算下一个状态
        nextState = state + actionMap(action);
        
        % 边界检查
        if nextState < 1 || nextState > numStates || ...
           (mod(state, 5) == 0 && action == 4) || ...
           (mod(state, 5) == 1 && action == 3)
            nextState = state;  % 保持不变
        end
        
        % 设定奖励函数
        if nextState == 25
            reward = 100;
        else
            reward = -1;
        end
        
        % 更新 Q 值
        Q(state, action) = Q(state, action) + alpha * ...
            (reward + gamma * max(Q(nextState, :)) - Q(state, action));
        
        % 更新状态
        state = nextState;
    end
end

% 显示最终 Q 值
disp('训练后的Q表:');
disp(Q);

Python 实现 Q-learning

Python 版本使用 numpy 和 gym 库，应用于 OpenAI Gym 的 FrozenLake 环境。

import numpy as np
import gym

# 创建环境
env = gym.make("FrozenLake-v1", is_slippery=False)

# 超参数
alpha = 0.1  # 学习率
gamma = 0.9  # 折扣因子
epsilon = 0.1  # 探索率
num_episodes = 500  # 训练回合数
num_states = env.observation_space.n
num_actions = env.action_space.n

# 初始化 Q 表
Q = np.zeros((num_states, num_actions))

# Q-learning 训练
for episode in range(num_episodes):
    state = env.reset()[0]  # 初始化状态
    done = False

    while not done:
        # 选择动作（ε-贪心策略）
        if np.random.uniform(0, 1) < epsilon:
            action = env.action_space.sample()  # 随机探索
        else:
            action = np.argmax(Q[state, :])  # 贪心策略

        # 执行动作
        next_state, reward, done, _, _ = env.step(action)

        # 更新 Q 值
        Q[state, action] = Q[state, action] + alpha * (
            reward + gamma * np.max(Q[next_state, :]) - Q[state, action]
        )

        # 更新状态
        state = next_state

# 显示最终 Q 表
print("训练后的 Q 表:")
print(Q)

# 评估学习效果
state = env.reset()[0]
env.render()

for _ in range(10):
    action = np.argmax(Q[state, :])  # 选择最佳动作
    state, _, done, _, _ = env.step(action)
    env.render()
    if done:
        break

参考