深度学习---------------------------深度循环神经网络
目录
- 回顾：循环神经网络
- 总结
- 深度循环神经网络代码
回顾：循环神经网络
RNN就一个隐藏的层，无法做的很宽，所以一般的做法是做的更深。（更深的时候是说每一层做一点点的非线性。）
怎么样把循环网络变深？怎么样获得更多的非线性？
多加几个隐藏层。
更深：
当前的第一个隐藏层
H
t
1
H_{t}^{1}
Ht1，第j层就是
H
t
j
H_{t}^{j}
Htj等于
f
j
f_j
fj下(第j层的上一个时刻的H，第j-1层时刻的隐藏状态)
总结
深度循环神经网络使用多个隐藏层来获得更多的非线性性。
深度循环神经网络代码
from torch import nn
from d2l import torch as d2l
batch_size, num_steps = 32, 35
# 将数据集划分为以batch_size为批量大小，num_steps为时间步数的小批量数据
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 设置隐藏层数为2，即num_layers
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
# 将输入的维度设置为词汇表的大小，用于将词汇表中的词转换为嵌入向量
num_inputs = vocab_size
device = d2l.try_gpu()
# 创建 LSTM 层
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)
d2l.plt.show()
