-
传统RNN循环神经网络的局限：
- 示例：当出现“我的职业是程序员。。。。。。我最擅长的是电脑”。当需要预测最后的词“电脑”。当前的信息建议下一个词可能是一种技能，但是如果我们需要弄清楚是什么技能，需要先前提到的离当前位置很远的“职业是程序员”的上下文。这说明相关信息和当前预测位置之间的间隔就变得相当的大。
- 在理论上，RNN绝对可以处理这样的长期依赖问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN则没法太好的学习到这些知识
- 原因是：梯度会随着时间的推移不断下降减少，而当梯度值变得非常小时，就不会继续学习。
-
长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（Recurrent Neural Network, RNN），主要设计用来解决传统RNN在处理长序列数据时存在的梯度消失或梯度爆炸问题。LSTM通过引入门（Gate）机制，使得网络能够记住长期依赖的信息，同时忽略不重要的信息。
-
下面链接中是对RNN网络的介绍：
- https://blog.****.net/weixin_73504499/article/details/142770470?spm=1001.2014.3001.5501
-
以下为LSTM的内部结构图：
-
LSTM相当于在RNN的隐藏层的内部结构中进行了上图中进一步的改进，并循环的向后输出数据，如下图所示：
