当前位置：首页 > article >正文

使用 Keras 训练一个循环神经网络（RNN）

article 2024/11/20 2:00:49

在前面的文章中，我们介绍了如何使用 Keras 训练全连接神经网络（MLP）和卷积神经网络（CNN）。本文将带你深入学习如何使用 Keras 构建和训练一个循环神经网络（RNN），用于处理序列数据。我们将使用 IMDB 电影评论数据集 进行情感分析任务。

1. 环境准备

确保你已经安装了 Python（推荐 3.6 及以上版本）和 TensorFlow（Keras 已集成在 TensorFlow 中）。如果尚未安装，请运行以下命令：

pip install tensorflow

2. 导入必要的库

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers, models
import numpy as np
import matplotlib.pyplot as plt

tensorflow: 深度学习框架，Keras 已集成其中。
numpy: 用于数值计算。
matplotlib.pyplot: 用于数据可视化。

3. 加载和预处理数据

我们将使用 Keras 自带的 IMDB 电影评论数据集，这是一个用于情感分析的二分类数据集，包含 25,000 条训练评论和 25,000 条测试评论。

# 加载 IMDB 数据集
max_features = 10000  # 词汇表大小
maxlen = 500          # 每条评论的最大长度

(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=max_features)

print(f"训练数据形状: {x_train.shape}, 训练标签形状: {y_train.shape}")
print(f"测试数据形状: {x_test.shape}, 测试标签形状: {y_test.shape}")

# 数据预处理
# 将序列填充到相同长度
x_train = keras.preprocessing.sequence.pad_sequences(x_train, maxlen=maxlen)
x_test = keras.preprocessing.sequence.pad_sequences(x_test, maxlen=maxlen)

print(f"填充后的训练数据形状: {x_train.shape}")
print(f"填充后的测试数据形状: {x_test.shape}")

说明：

max_features: 词汇表大小，表示只考虑最常见的 10,000 个单词。
maxlen: 每条评论的最大长度，超过的部分将被截断，不足的部分将被填充。
使用 pad_sequences 将所有序列填充到相同长度，以便输入到 RNN 中。

4. 构建循环神经网络模型

我们将构建一个简单的 RNN 模型，使用 LSTM 层来处理序列数据。

model = models.Sequential([
    layers.Embedding(input_dim=max_features, output_dim=128, input_length=maxlen),  # 嵌入层，将单词索引转换为向量
    layers.LSTM(128, dropout=0.2, recurrent_dropout=0.2),  # LSTM 层，128 个单元，dropout 和 recurrent_dropout 用于防止过拟合
    layers.Dense(1, activation='sigmoid')  # 输出层，二分类使用 sigmoid 激活函数
])

# 查看模型结构
model.summary()

说明：

Embedding: 将单词索引转换为稠密向量表示。
LSTM: 长短期记忆网络，用于处理序列数据。
dropout 和 recurrent_dropout: 用于防止过拟合。
Dense: 输出层，使用 sigmoid 激活函数进行二分类。

5. 编译模型

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

说明：

使用 Adam 优化器和二元交叉熵损失函数。
评估指标为准确率。

6. 训练模型

# 设置训练参数
batch_size = 64
epochs = 5

# 训练模型
history = model.fit(x_train, y_train,
                    batch_size=batch_size,
                    epochs=epochs,
                    validation_split=0.1)  # 使用 10% 的训练数据作为验证集

说明：

使用 10% 的训练数据作为验证集，以监控模型在验证集上的性能。

7. 评估模型

test_loss, test_acc = model.evaluate(x_test, y_test, verbose=2)
print(f"\n测试准确率: {test_acc:.4f}")

8. 保存和加载模型

# 保存模型
model.save("imdb_rnn_model.h5")

# 加载模型
new_model = keras.models.load_model("imdb_rnn_model.h5")

9. 可视化训练过程

# 绘制训练 & 验证的准确率和损失值
plt.figure(figsize=(12,4))

# 准确率
plt.subplot(1,2,1)
plt.plot(history.history['accuracy'], label='训练准确率')
plt.plot(history.history['val_accuracy'], label='验证准确率')
plt.xlabel('Epoch')
plt.ylabel('准确率')
plt.legend(loc='lower right')
plt.title('训练与验证准确率')

# 损失值
plt.subplot(1,2,2)
plt.plot(history.history['loss'], label='训练损失')
plt.plot(history.history['val_loss'], label='验证损失')
plt.xlabel('Epoch')
plt.ylabel('损失')
plt.legend(loc='upper right')
plt.title('训练与验证损失')

plt.show()