【第4章：循环神经网络（RNN）与长短时记忆网络（LSTM）——4.2 LSTM的引入与解决长期依赖问题的方法】
在人工智能的璀璨星空中，深度学习模型犹如一颗颗耀眼的星辰，引领着技术的革新。而在处理序列数据的领域中，循环神经网络（RNN）无疑是那颗最为亮眼的星星。然而，即便是这样强大的模型，也面临着一些棘手的问题，其中最突出的便是长期依赖问题。今天，我们就来深入探讨一下长短时记忆网络（LSTM）是如何巧妙解决这一难题的。
二、RNN的局限性 —— 长期依赖问题
在处理序列数据时，RNN通过其独特的循环结构，能够理论上记住任意长度的历史信息。然而，在实际应用中，当序列长度过长时，RNN却常常无法有效地利用这些信息，这便是长期依赖问题的根源。
梯度消失：在反向传播过程中，随着序列长度的增加，梯度会逐渐减小，甚至趋于零。这意味着，早期的权重更新将变得非常微弱，模型几乎无法记住长距离的信息。
梯度爆炸：与梯度消失相反，有时梯度会变得异常巨大，导致权重更新失控，模型变得极不稳定。
这两个问题，如同RNN前行