动手学深度学习59 双向循环神经网络

1. 双向循环神经网络

视频：https://www.bilibili.com/video/BV12X4y1c71W/?p=2&spm_id_from=pageDriver&vd_source=eb04c9a33e87ceba9c9a2e5f09752ef8
课件：https://courses.d2l.ai/zh-v2/assets/pdfs/part-3_7.pdf
课本： https://zh-v2.d2l.ai/chapter_recurrent-modern/bi-rnn.html

2. 代码

错误使用，不能用双向循环神经网络训练语言模型，语言模型是预测未来的。
框架实现双向：调用网络时加上双向参数，bidirectional=True

import torch
from torch import nn
from d2l import torch as d2l

# 加载数据
batch_size, num_steps, device = 32, 35, d2l.try_gpu()
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)
# 通过设置“bidirective=True”来定义双向LSTM模型
vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers, bidirectional=True)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)
# 训练模型
num_epochs, lr = 500, 1
d2l.train_ch8(model, train_iter, vocab, lr, num_epochs, device)

3. QA

20 反向初始也是0
21 H -1 +1之间的数据，没有数值限制，只可以做到很大
22 时间序列不能双向
23 contact关系，不是相加 没有权重关系
24 隐藏层和隐马尔可夫没什么关系 训练时把句子裁成固定长度，暗含隐马尔可夫假设【隐马尔可夫的长度】
25 正向反向隐藏层权重不一样。
26 正向反向隐藏层各256， concact起来512.
27 可以深度双向，两层是一组单元–框架里认为是一层，一层一层叠加深度。