深度学习：循环神经网络的计算复杂度，顺序操作和最大路径长度
当更新循环神经网络的隐状态时，d × d权重矩阵和d维隐状态的乘法计算复杂度为O(d2)。由于序列长度为n，因此循环神经网络层的计算复杂度为O(nd2)。根据 图10.6.1，有O(n)个顺序操作无法并行化，最大路径长度也是O(n）。
循环神经网络的隐状态更新
在循环神经网络中，隐状态的更新公式通常为：
h(t)=σ(Wh(t−1)+Ux(t)+b)
其中：
h(t) 是时间步 t 的隐状态。
W是隐状态到隐状态的权重矩阵，大小为 d×d。
h(t−1)是时间步 t−1的隐状态，大小为 d。
U是输入到隐状态的权重矩阵，大小为 d×d。
x(t)是时间步 t的输入，大小为 d。
b是偏置向量，大小为 d。
σ是激活函数。
计算复杂度
-
权重矩阵和隐状态的乘法：
隐状态的更新涉及到 Wh(t−1)的乘法操作。假设 W 的大小为 d×d，h(t−1)的大小为 d，那么乘法的计算复杂度为 O(d2)。 -
序列长度 n：
对于长度为 n 的序列，隐状态的更新需要进行 n 次。每次更新都需要进行 Wh(t−1)的乘法操作，因此总的计算复杂度为 O(nd2)。
顺序操作和最大路径长度
-
顺序操作：
在循环神经网络中，隐状态的更新是按时间步顺序进行的。每个时间步的隐状态依赖于前一个时间步的隐状态，因此无法并行化。
对于长度为 n 的序列，有 n个顺序操作无法并行化。 -
最大路径长度：
最大路径长度是指信息从输入层传递到输出层所需经过的最大时间步数。在循环神经网络中，信息需要按时间步顺序传递，因此最大路径长度为 O(n)。