每天五分钟深度学习PyTorch:循环神经网络RNN的计算以及维度信息
本文重点
前面我们学习了RNN从何而来,以及它的一些优点,我们也知道了它的模型的大概情况,本文我们将学习它的计算,我们来看一下RNN模型的每一个时间步在计算什么?
RNN的计算
ht-1是上一时刻的输出,xt是本时刻的输入,然后二者共同计算得到了ht,然后yt通过ht计算得到,这就是RNN计算的全部了
维度信息
RNN的输入的维度为[seq_len,batch,feature_len],其中:
seq_len:表示时间步的长度,可以理解为文本中一句话的长度
batch:每个时间步放入多少个batch词
feature_len:每个词的维度
那么每一个时间步接收xt:[batch,feature_len]
每一个时间步接收的上一时刻的ht-1:[batch,hidden_len]