LSTM长短期记忆神经网络模型简介

时间:2021-04-10 14:46:19

LSTM网络也是一种时间递归神经网络,解决RNN的长期依赖关系。

RNN模型在训练时会遇到梯度消失或者爆炸的问题,训练时计算和反向传播,梯度倾向于在每一时刻递增或递减,梯度发散到无穷大或者0.....没看懂吧...

LSTM有输入向量,输出向量,状态,闸门等。

有了闸门机制,LSTM有长期记忆功能。