循环神经网络2--LSTM

这周在看循环数据网络, 发现一个博客, 里面推导极其详细, 借此记录重点.

详细推导

强烈建议手推一遍, 虽然会花一点时间, 但便于理清思路.

长短时记忆网络

回顾BPTT算法里误差项沿时间反向传播的公式:

δTk=δTt∏i=kt−1diag[f′(neti)]W(1) $$\begin{array}{}\text{(1)}& {\delta }_k^T=& {\delta }_t^T\underset{i=k}{\overset{t-1}{\prod }}diag[f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_i)]W\end{array}$$

根据范数的性质, 来获取 δTk ${\delta }_k^T$ 的模的上界:

‖δTk‖⩽⩽‖δTt‖∏i=kt−1‖diag[f′(neti)]‖‖W‖‖δTt‖(βfβW)t−k(2)(3) $$\begin{array}{}\text{(2)}& \Vert {\delta }_k^T\Vert ⩽& \Vert {\delta }_t^T\Vert \underset{i=k}{\overset{t-1}{\prod }}\Vert diag[f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_i)]\Vert \Vert W\Vert \text{(3)}& ⩽& \Vert {\delta }_t^T\Vert ({\beta }_f{\beta }_W{)}^{t-k}\end{array}$$

可以看到, 误差项 δ $\delta$ 从t时刻传递到k时刻, 其值上界是 βfβw ${\beta }_f{\beta }_w$ 的指数函数. βfβw ${\beta }_f{\beta }_w$ 分别是对角矩阵 diag[f′(neti)] $diag[f^{{}^{\prime }}(ne{t}_i)]$ 和矩阵W模的上界. 显然, 当t-k很大时, 会有 梯度爆炸, 当t-k很小时, 会有 梯度消失.

为了解决RNN的梯度爆炸和梯度消失的问题, 就出现了长短时记忆网络(Long Short Memory Network, LSTM). 原始RNN的隐藏层只有一个状态h, 它对于短期的输入非常敏感. 如果再增加一个状态c, 让它来保存长期的状态, 那么就可以解决原始RNN无法处理长距离依赖的问题.

新增加的状态c, 称为单元状态(cell state). 上图按照时间维度展开:

上图中, 在t时刻, LSTM的输入有三个: 当前时刻网络的输入值 xt $x_t$, 上一时刻LSTM的输出值 ht−1 $h_{t-1}$, 以及上一时刻的单元状态 ct−1 $c_{t-1}$; LSTM的输出有两个: 当前时刻的LSTM输出 ht $h_t$, 当前时刻的状态 ct $c_t$. 其中 x,h,c $x,h,c$都是向量.

LSTM的关键在于怎样控制长期状态c. 在这里, LSTM的思路是使用三个控制开关:

第一个开关, 负责控制继续保存长期状态c; (遗忘门)

第二个开关, 负责控制把即时状态输入到长期状态c; (输入门)

第三个开关, 负责控制是都把长期状态c作为当前的LSTM的输出. (输出门)

接下来, 具体描述一下输出h和单元状态c的计算方法.

长短时记忆网络的前向计算

开关在算法中用门(gate)实现. 门实际上就是一层全连接层, 它的输入是一个向量, 输出是一个0~1的实数向量. 假设w是门的权重向量, b是偏置项, 门可以表示为:

g(x)=σ(Wx+b) $$g(\mathbf{x})=\sigma (W\mathbf{x}+\mathbf{b})$$

门的使用, 就是 用门的输出向量按元素乘以我们需要控制的那个向量. 当门的输出为0时, 任何向量与之相乘都会得到0向量, 相当于什么都不能通过; 当输出为1时, 任何向量与之相乘都为本身, 相当于什么都可以通过. 上式中 σ $\sigma$ 是sigmoid函数, 值域为(0,1), 所以门的状态是半开半闭的.

LSTM用两个门来控制单元状态c的内容, 一个是遗忘门(forget gate), 它决定了上一时刻的单元状态 ct−1 ${\mathbf{c}}_{t-1}$有多少保留到当前时刻 ct ${\mathbf{c}}_t$; 另一个是输入门(input gate), 它决定了当前时刻网络的输入 xt ${\mathbf{x}}_t$有多少保存到单元状态 ct ${\mathbf{c}}_t$. LSTM用输出门(output gate)来控制单元状态 ct ${\mathbf{c}}_t$有多少输出到LSTM的当前输出值 ht ${\mathbf{h}}_t$.

1. 遗忘门:

ft=σ(Wf⋅[ht−1,xt]+bf)(式1) $${\mathbf{f}}_t=\sigma (W_f\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f)(式1)$$

上式中, Wf ${\mathbf{W}}_f$ 是遗忘门的权重矩阵, [ht−1,xt] $[{\mathbf{h}}_{t-1},x_t]$ 表示把两个向量连接到一个更长的向量, bf ${\mathbf{b}}_f$ 是遗忘门的偏置项, σ $\sigma$ 是sigmoid函数. 如果输入的维度是 dh $d_h$ , 单元状态的维度是 dc $d_c$ (通常 dc=dh $d_c=d_h$ ), 则遗忘门的权重矩阵 Wf ${\mathbf{W}}_f$ 维度是 dc×(dh+dx) $d_c\times (d_h+d_x)$ .

事实上, 权重矩阵 Wf ${\mathbf{W}}_f$都是两个矩阵拼接而成的: 一个是 Wfh ${\mathbf{W}}_{fh}$, 它对应着输入项 ht−1 ${\mathbf{h}}_{t-1}$, 其维度为 dc×dh $d_c\times d_h$; 一个是 Wfx ${\mathbf{W}}_{fx}$, 它对应着输入项 xt ${\mathbf{x}}_t$, 其维度为 dc×dh $d_c\times d_h$. Wf ${\mathbf{W}}_f$可以写成:

[Wf][ht−1xt]=[WfhWfx][ht−1xt]=Wfhht−1+Wfxxt(4)(5) $$\begin{array}{}\text{(4)}& \left[\begin{array}{c}{W}_f\end{array}\right]\left[\begin{array}{c}{\mathbf{h}}_{t-1}\\ {\mathbf{x}}_t\end{array}\right]& =\left[\begin{array}{cc}{W}_{fh}& W_{fx}\end{array}\right]\left[\begin{array}{c}{\mathbf{h}}_{t-1}\\ {\mathbf{x}}_t\end{array}\right]\text{(5)}& & =W_{fh}{\mathbf{h}}_{t-1}+W_{fx}{\mathbf{x}}_t\end{array}$$

下图是遗忘门的计算:

2. 输入门:

it=σ(Wi⋅[ht−1,xt]+bi)(式2) $${\mathbf{i}}_t=\sigma (W_i\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i)(式2)$$

上式中, Wi ${\mathbf{W}}_i$ 是输入门的权重矩阵, bi ${\mathbf{b}}_i$ 是输入门的偏置项.

下图是输入门的计算:

接下来, 计算用于描述当前输入的单元状态 c̃t ${\stackrel{\mathbf{~}}{\mathbf{c}}}_t$, 它是根据根据上一次的输出和本次的输入来计算的:

c̃t=tanh(Wc⋅[ht−1,xt]+bc)(式3) $${\stackrel{\mathbf{~}}{\mathbf{c}}}_t=\tanh (W_c\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_c)(式3)$$

下图是 c̃t ${\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}$ 的计算:

现在, 我们计算当前时刻的单元状态 ct ${\mathbf{c}}_t$. 它是由上一次的单元状态 ct−1 ${\mathbf{c}}_{t-1}$按元素乘以遗忘门 ft ${\mathbf{f}}_t$, 再用当前输入的单元状态 c̃t ${\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}$按元素乘以输入门 it ${\mathbf{i}}_t$, 再将两个积加和产生的:

ct=ft∘ct−1+it∘c̃t(式4) $${\mathbf{c}}_t=f_t\circ {\mathbf{c}}_{t-1}+i_t\circ {\stackrel{\mathbf{~}}{\mathbf{c}}}_t(式4)$$

符号 ∘ $\circ$ 表示 按元素乘. 下图是 ct ${\mathbf{c}}_t$ 的计算:

这样, 就把LSTM关于当前的记忆 c̃t ${\stackrel{\mathbf{~}}{\mathbf{c}}}_t$和长期的记忆 ct−1 ${\mathbf{c}}_{t-1}$组合在一起, 形成了新的单元状态 ct ${\mathbf{c}}_t$. 由于遗忘门的控制, 它可以保存很久之前的信息, 由于输入门的控制, 它又可以避免当前无关紧要的内容进入记忆.

3. 输出门

ot=σ(Wo⋅[ht−1,xt]+bo)(式5) $${\mathbf{o}}_t=\sigma (W_o\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o)(式5)$$

下图表示输出门的计算:

LSTM最终的输出, 是由输出门和单元状态共同确定的:

ht=ot∘tanh(ct)(式6) $${\mathbf{h}}_t={\mathbf{o}}_t\circ \tanh ({\mathbf{c}}_t)(式6)$$

下图表示LSTM最终输出的计算:

式1到式6就是LSTM前向计算的全部公式.

长短时记忆网络的训练

训练部分比前向计算部分复杂, 具体推导如下.

LSTM训练算法框架

LSTM的训练算法仍然是反向传播算法, 主要是三个步骤:

1. 前向计算每个神经元的输出值, 对于LSTM来说, 即 ft,it,ctot,ht ${\mathbf{f}}_t,{\mathbf{i}}_t,{\mathbf{c}}_t{\mathbf{o}}_t,{\mathbf{h}}_t$五个向量的值;
2. 反向计算每个神经元的误差项 δ $\delta$值, 与RNN一样, LSTM误差项的反向传播也是包括两个方向: 一个沿时间的反向传播, 即从当前t时刻开始, 计算每个时刻的误差项; 一个是将误差项向上一层传播;
3. 根据相应的误差项, 计算每个权重的梯度.

关于公式和符号的说明

接下来的推导, 设定gate的激活函数为sigmoid, 输出的激活函数为tanh函数. 他们的导数分别为:

σ(z)σ′(z)tanh(z)tanh′(z)=y=11+e−z=y(1−y)=y=ez−e−zez+e−z=1−y2(6)(7)(8)(9) $$\begin{array}{}\text{(6)}& \sigma (z)& =y=\frac{1}{1+e^{-z}}\text{(7)}& {\sigma }^{\prime }(z)& =y(1-y)\text{(8)}& \tanh (z)& =y=\frac{e^z-e^{-z}}{e^z+e^{-z}}\text{(9)}& {\tanh }^{\prime }(z)& =1-y^2\end{array}$$

从上式知, sigmoid函数和tanh函数的导数都是原函数的函数, 那么计算出原函数的值, 导数便也计算出来.

LSTM需要学习的参数共有8组, 权重矩阵的两部分在反向传播中使用不同的公式, 分别是:

1. 遗忘门的权重矩阵 Wf ${\mathbf{W}}_f$和偏置项 bt ${\mathbf{b}}_t$, Wf ${\mathbf{W}}_f$分开为两个矩阵 Wfh ${\mathbf{W}}_{fh}$和 Wfx ${\mathbf{W}}_{fx}$
2. 输入门的权重矩阵 Wi ${\mathbf{W}}_i$和偏置项 bi ${\mathbf{b}}_i$, Wi ${\mathbf{W}}_i$分开为两个矩阵 Wih ${\mathbf{W}}_{ih}$和 Wxi ${\mathbf{W}}_{xi}$
3. 输出门的权重矩阵 Wo ${\mathbf{W}}_o$和偏置项 bo ${\mathbf{b}}_o$, Wo ${\mathbf{W}}_o$分开为两个矩阵 Woh ${\mathbf{W}}_{oh}$和 Wox ${\mathbf{W}}_{ox}$
4. 计算单元状态的权重矩阵 Wc ${\mathbf{W}}_c$和偏置项 bc ${\mathbf{b}}_c$, Wc ${\mathbf{W}}_c$分开为两个矩阵 Wch ${\mathbf{W}}_{ch}$和 Wcx ${\mathbf{W}}_{cx}$

按元素乘 ∘ $\circ$符号. 当 ∘ $\circ$作用于两个向量时, 运算如下:

a∘b=⎡⎣⎢⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢b1b2b3...bn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1b1a2b2a3b3...anbn⎤⎦⎥⎥⎥⎥⎥ $$\mathbf{a}\circ \mathbf{b}=\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\\ ...\\ a_n\end{array}\right]\circ \left[\begin{array}{c}{b}_1\\ b_2\\ b_3\\ ...\\ b_n\end{array}\right]=\left[\begin{array}{c}{a}_1{b}_1\\ a_2{b}_2\\ a_3{b}_3\\ ...\\ a_n{b}_n\end{array}\right]$$

当 ∘ $\circ$ 作用于 一个向量和 一个矩阵时, 运算如下:

a∘X=⎡⎣⎢⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢x11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn⎤⎦⎥⎥⎥⎥⎥(10)(11) $$\begin{array}{}\text{(10)}& \mathbf{a}\circ X& =\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\\ ...\\ a_n\end{array}\right]\circ \left[\begin{array}{ccccc}{x}_{11}& x_{12}& x_{13}& ...& x_{1n}\\ x_{21}& x_{22}& x_{23}& ...& x_{2n}\\ x_{31}& x_{32}& x_{33}& ...& x_{3n}\\ & & ...\\ x_{n1}& x_{n2}& x_{n3}& ...& x_{nn}\end{array}\right]\text{(11)}& & =\left[\begin{array}{ccccc}{a}_1{x}_{11}& a_1{x}_{12}& a_1{x}_{13}& ...& a_1{x}_{1n}\\ a_2{x}_{21}& a_2{x}_{22}& a_2{x}_{23}& ...& a_2{x}_{2n}\\ a_3{x}_{31}& a_3{x}_{32}& a_3{x}_{33}& ...& a_3{x}_{3n}\\ & & ...\\ a_n{x}_{n1}& a_n{x}_{n2}& a_n{x}_{n3}& ...& a_n{x}_{nn}\end{array}\right]\end{array}$$

当 ∘ $\circ$ 作用于 两个矩阵时, 两个矩阵对应位置的元素相乘. 按元素乘可以在某些情况下简化矩阵和向量运算.

例如, 当一个对角矩阵右乘一个矩阵时, 相当于用对角矩阵的对角线组成的向量按元素乘那个矩阵:

diag[a]X=a∘X $$diag[\mathbf{a}]X=\mathbf{a}\circ X$$

当一个行向量左乘一个对角矩阵时, 相当于这个行向量按元素乘那个矩阵对角组成的向量:

aTdiag[b]=a∘b $${\mathbf{a}}^{T}diag[\mathbf{b}]=\mathbf{a}\circ \mathbf{b}$$

在t时刻, LSTM的输出值为 ht ${\mathbf{h}}_t$ . 我们定义t时刻的误差项 δt ${\delta }_t$ 为:

δt=def∂E∂ht $${\delta }_t\stackrel{def}{=}\frac{\mathrm{\partial }\mathbf{E}}{\mathrm{\partial }{\mathbf{h}}_t}$$

这里假设误差项是损失函数对输出值的导数, 而不是对加权输出 netlt $ne{t}_t^l$ 的导数. 因为LSTM有四个加权输入, 分别对应 ft,it,ct,ot ${\mathbf{f}}_t,{\mathbf{i}}_t,{\mathbf{c}}_t,{\mathbf{o}}_t$ , 我们希望往上一层传递一个误差项而不是四个, 但需要定义这四个加权输入以及它们对应的误差项.

netf,tneti,tnetc̃,tneto,tδf,tδi,tδc̃,tδo,t=Wf[ht−1,xt]+bf=Wfhht−1+Wfxxt+bf=Wi[ht−1,xt]+bi=Wihht−1+Wixxt+bi=Wc[ht−1,xt]+bc=Wchht−1+Wcxxt+bc=Wo[ht−1,xt]+bo=Wohht−1+Woxxt+bo=def∂E∂netf,t=def∂E∂neti,t=def∂E∂netc̃,t=def∂E∂neto,t(12)(13)(14)(15)(16)(17)(18)(19)(20)(21)(22)(23) $$\begin{array}{}\text{(12)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}& =W_f[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f\text{(13)}& & =W_{fh}{\mathbf{h}}_{t-1}+W_{fx}{\mathbf{x}}_t+{\mathbf{b}}_f\text{(14)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}& =W_i[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i\text{(15)}& & =W_{ih}{\mathbf{h}}_{t-1}+W_{ix}{\mathbf{x}}_t+{\mathbf{b}}_i\text{(16)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}& =W_c[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_c\text{(17)}& & =W_{ch}{\mathbf{h}}_{t-1}+W_{cx}{\mathbf{x}}_t+{\mathbf{b}}_c\text{(18)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}& =W_o[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o\text{(19)}& & =W_{oh}{\mathbf{h}}_{t-1}+W_{ox}{\mathbf{x}}_t+{\mathbf{b}}_o\text{(20)}& {\delta }_{f,t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\text{(21)}& {\delta }_{i,t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\text{(22)}& {\delta }_{\tilde{c},t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\text{(23)}& {\delta }_{o,t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\end{array}$$

误差项沿时间的反向传递

沿时间反向传递误差项, 就是要计算出t-1时刻的误差项 δt−1 ${\delta }_{t-1}$.

δTt−1=∂E∂ht−1=∂E∂ht∂ht∂ht−1=δTt∂ht∂ht−1(24)(25)(26) $$\begin{array}{}\text{(24)}& {\delta }_{t-1}^T& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(25)}& & =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(26)}& & ={\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\end{array}$$

其中, ∂ht∂ht−1 $\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}$ 是一个Jacobian矩阵, 为了求出它, 需要列出 ht ${\mathbf{h}}_{\mathbf{t}}$ 的计算公式, 即前面的 式6和 式4:

ht=ot∘tanh(ct)(式6)ct=ft∘ct−1+it∘c̃t(式4) $$\begin{gathered} {\mathbf{h}}_t={\mathbf{o}}_t\circ \tanh ({\mathbf{c}}_t)(式6) \\ {\mathbf{c}}_t=f_t\circ {\mathbf{c}}_{t-1}+i_t\circ {\stackrel{\mathbf{~}}{\mathbf{c}}}_t(式4) \end{gathered}$$

显然, ot,ft,it,c̃t ${\mathbf{o}}_{\mathbf{t}},{\mathbf{f}}_{\mathbf{t}},{\mathbf{i}}_{\mathbf{t}},{\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}$ 都是 ht−1 ${\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}$ 的函数, 那么, 利用全导数公式可得:

δTt∂ht∂ht−1=δTt∂ht∂ot∂ot∂neto,t∂neto,t∂ht−1+δTt∂ht∂ct∂ct∂ft∂ft∂netf,t∂netf,t∂ht−1+δTt∂ht∂ct∂ct∂it∂it∂neti,t∂neti,t∂ht−1+δTt∂ht∂ct∂ct∂c̃t∂c̃t∂netc̃,t∂netc̃,t∂ht−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc̃,t∂netc̃,t∂ht−1(式7)(27)(28)(29) $$\begin{array}{}\text{(27)}& {\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}& ={\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{o}}_t}\frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}\frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{f}}_{\mathbf{t}}}\frac{\mathrm{\partial }{\mathbf{f}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(28)}& & +{\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}\frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{i}}_{\mathbf{t}}}\frac{\mathrm{\partial }{\mathbf{i}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}\frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_t}\frac{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(29)}& & ={\delta }_{o,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{f,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{i,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{\tilde{c},t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}(式7)\end{array}$$

下面, 要把 式7中的每个偏导数都求出来, 根据 式6, 可以求出:

∂ht∂ot∂ht∂ct=diag[tanh(ct)]=diag[ot∘(1−tanh(ct)2)](30)(31) $$\begin{array}{}\text{(30)}& \frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{o}}_t}& =diag[\tanh ({\mathbf{c}}_t)]\text{(31)}& \frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}& =diag[{\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)]\end{array}$$

根据 式4, 可以求出:

∂ct∂ft∂ct∂it∂ct∂c̃t=diag[ct−1]=diag[c̃t]=diag[it](32)(33)(34) $$\begin{array}{}\text{(32)}& \frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{f}}_{\mathbf{t}}}& =diag[{\mathbf{c}}_{t-1}]\text{(33)}& \frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{i}}_{\mathbf{t}}}& =diag[{\stackrel{\mathbf{~}}{\mathbf{c}}}_t]\text{(34)}& \frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}}& =diag[{\mathbf{i}}_t]\end{array}$$

因为:

otneto,tftnetf,titneti,tc̃tnetc̃,t=σ(neto,t)=Wohht−1+Woxxt+bo=σ(netf,t)=Wfhht−1+Wfxxt+bf=σ(neti,t)=Wihht−1+Wixxt+bi=tanh(netc̃,t)=Wchht−1+Wcxxt+bc(35)(36)(37)(38)(39)(40)(41)(42)(43)(44)(45) $$\begin{array}{}\text{(35)}& {\mathbf{o}}_t& =\sigma ({\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t})\text{(36)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}& =W_{oh}{\mathbf{h}}_{t-1}+W_{ox}{\mathbf{x}}_t+{\mathbf{b}}_o\text{(37)}& \text{(38)}& {\mathbf{f}}_t& =\sigma ({\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t})\text{(39)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}& =W_{fh}{\mathbf{h}}_{t-1}+W_{fx}{\mathbf{x}}_t+{\mathbf{b}}_f\text{(40)}& \text{(41)}& {\mathbf{i}}_t& =\sigma ({\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t})\text{(42)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}& =W_{ih}{\mathbf{h}}_{t-1}+W_{ix}{\mathbf{x}}_t+{\mathbf{b}}_i\text{(43)}& \text{(44)}& {\stackrel{\mathbf{~}}{\mathbf{c}}}_t& =\tanh ({\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t})\text{(45)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}& =W_{ch}{\mathbf{h}}_{t-1}+W_{cx}{\mathbf{x}}_t+{\mathbf{b}}_c\end{array}$$

可以得出:

∂ot∂neto,t∂neto,t∂ht−1∂ft∂netf,t∂netf,t∂ht−1∂it∂neti,t∂neti,t∂ht−1∂c̃t∂netc̃,t∂netc̃,t∂ht−1=diag[ot∘(1−ot)]=Woh=diag[ft∘(1−ft)]=Wfh=diag[it∘(1−it)]=Wih=diag[1−c̃2t]=Wch(46)(47)(48)(49)(50)(51)(52)(53) $$\begin{array}{}\text{(46)}& \frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}& =diag[{\mathbf{o}}_t\circ (1-{\mathbf{o}}_t)]\text{(47)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}& =W_{oh}\text{(48)}& \frac{\mathrm{\partial }{\mathbf{f}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}& =diag[{\mathbf{f}}_t\circ (1-{\mathbf{f}}_t)]\text{(49)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{t-1}}& =W_{fh}\text{(50)}& \frac{\mathrm{\partial }{\mathbf{i}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}& =diag[{\mathbf{i}}_t\circ (1-{\mathbf{i}}_t)]\text{(51)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{t-1}}& =W_{ih}\text{(52)}& \frac{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}& =diag[1-{\stackrel{\mathbf{~}}{\mathbf{c}}}_t^2]\text{(53)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{t-1}}& =W_{ch}\end{array}$$

将上述偏导数导入到 式7, 可以得到:

δt−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc̃,t∂netc̃,t∂ht−1=δTo,tWoh+δTf,tWfh+δTi,tWih+δTc̃,tWch(式8)(54)(55) $$\begin{array}{}\text{(54)}& {\delta }_{t-1}& ={\delta }_{o,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{f,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{i,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{\tilde{c},t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(55)}& & ={\delta }_{o,t}^T{W}_{oh}+{\delta }_{f,t}^T{W}_{fh}+{\delta }_{i,t}^T{W}_{ih}+{\delta }_{\tilde{c},t}^T{W}_{ch}(式8)\end{array}$$

根据 δo,t,δf,t,δi,t,δc̃,t ${\delta }_{o,t},{\delta }_{f,t},{\delta }_{i,t},{\delta }_{\tilde{c},t}$ 的定义, 可知:

δTo,tδTf,tδTi,tδTc̃,t=δTt∘tanh(ct)∘ot∘(1−ot)(式9)=δTt∘ot∘(1−tanh(ct)2)∘ct−1∘ft∘(1−ft)(式10)=δTt∘ot∘(1−tanh(ct)2)∘c̃t∘it∘(1−it)(式11)=δTt∘ot∘(1−tanh(ct)2)∘it∘(1−c̃2)(式12)(56)(57)(58)(59) $$\begin{array}{}\text{(56)}& {\delta }_{o,t}^T& ={\delta }_t^T\circ \tanh ({\mathbf{c}}_t)\circ {\mathbf{o}}_t\circ (1-{\mathbf{o}}_t)(式9)\text{(57)}& {\delta }_{f,t}^T& ={\delta }_t^T\circ {\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)\circ {\mathbf{c}}_{t-1}\circ {\mathbf{f}}_t\circ (1-{\mathbf{f}}_t)(式10)\text{(58)}& {\delta }_{i,t}^T& ={\delta }_t^T\circ {\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)\circ {\stackrel{\mathbf{~}}{\mathbf{c}}}_t\circ {\mathbf{i}}_t\circ (1-{\mathbf{i}}_t)(式11)\text{(59)}& {\delta }_{\tilde{c},t}^T& ={\delta }_t^T\circ {\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)\circ {\mathbf{i}}_t\circ (1-{\stackrel{\mathbf{~}}{\mathbf{c}}}^2)(式12)\end{array}$$

式8到 式12就是将误差沿时间反向传播一个时刻的公式. 有了它, 便可以写出将误差项传递到任意k时刻的公式:

δTk=∏j=kt−1δTo,jWoh+δTf,jWfh+δTi,jWih+δTc̃,jWch(式13) $${\delta }_k^T=\underset{j=k}{\overset{t-1}{\prod }}{\delta }_{o,j}^T{W}_{oh}+{\delta }_{f,j}^T{W}_{fh}+{\delta }_{i,j}^T{W}_{ih}+{\delta }_{\tilde{c},j}^T{W}_{ch}(式13)$$

将误差项传递到上一层

假设当前是第 l $l$层, 定义 l−1 $l-1$层的误差项是误差函数对 l−1 $l-1$层加权输入的导数, 即:

δl−1t=def∂Enetl−1t $${\delta }_t^{l-1}\stackrel{def}{=}\frac{\mathrm{\partial }E}{{\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}}$$

本次LSTM的输入 xt $x_t$ 由下面的公式计算:

xlt=fl−1(netl−1t) $${\mathbf{x}}_t^l={\mathbf{f}}^{l-1}({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})$$

上式中, fl−1 ${\mathbf{f}}^{l-1}$ 表示第 l−1 $l-1$ 的 激活函数.

因为 netlf,t,netli,t,netlc̃,t,netlo,t ${\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}^l,{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}^l,{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}^l,{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}^l$都是 xt ${\mathbf{x}}_{\mathbf{t}}$的函数, xt ${\mathbf{x}}_{\mathbf{t}}$又是 netl−1t ${\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}$的函数, 因此, 要求出 E $\mathbf{E}$对 netl−1t ${\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}$的导数, 就需要使用全导数公式:

∂E∂netl−1t=∂E∂netlf,t∂netlf,t∂xlt∂xlt∂netl−1t+∂E∂netli,t∂netli,t∂xlt∂xlt∂netl−1t+∂E∂netlc̃,t∂netlc̃,t∂xlt∂xlt∂netl−1t+∂E∂netlo,t∂netlo,t∂xlt∂xlt∂netl−1t=δTf,tWfx∘f′(netl−1t)+δTi,tWix∘f′(netl−1t)+δTc̃,tWcx∘f′(netl−1t)+δTo,tWox∘f′(netl−1t)=(δTf,tWfx+δTi,tWix+δTc̃,tWcx+δTo,tWox)∘f′(netl−1t)(式14)(60)(61)(62)(63) $$\begin{array}{}\text{(60)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{f}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{f}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}+\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{i}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{i}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}\text{(61)}& & +\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\stackrel{\mathbf{~}}{\mathbf{c}}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\stackrel{\mathbf{~}}{\mathbf{c}}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}+\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{o}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{o}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}\text{(62)}& & ={\delta }_{f,t}^T{W}_{fx}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})+{\delta }_{i,t}^T{W}_{ix}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})+{\delta }_{\tilde{c},t}^T{W}_{cx}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})+{\delta }_{o,t}^T{W}_{ox}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})\text{(63)}& & =({\delta }_{f,t}^T{W}_{fx}+{\delta }_{i,t}^T{W}_{ix}+{\delta }_{\tilde{c},t}^T{W}_{cx}+{\delta }_{o,t}^T{W}_{ox})\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})(式14)\end{array}$$

式14就是将误差传递到上一层的公式.

权重梯度的计算

对于 Wfh,Wih,Wch,Woh ${\mathbf{W}}_{fh},{\mathbf{W}}_{ih},{\mathbf{W}}_{ch},{\mathbf{W}}_{oh}$的权重梯度, 我们知道它的梯度是各个时刻梯度之和. 我们首先求出它们在t时刻的梯度, 然后再求出他们最终的梯度.

我们已经求得了误差项 δo,t,δf,t,δi,t,δc̃,t ${\delta }_{o,t},{\delta }_{f,t},{\delta }_{i,t},{\delta }_{\tilde{c},t}$, 很容易求出t时刻的 Woh,Wfh,Wih,Wch ${\mathbf{W}}_{oh},{\mathbf{W}}_{fh},{\mathbf{W}}_{ih},{\mathbf{W}}_{ch}$:

∂E∂Woh,t∂E∂Wfh,t∂E∂Wih,t∂E∂Wch,t=∂E∂neto,t∂neto,t∂Woh,t=δo,thTt−1=∂E∂netf,t∂netf,t∂Wfh,t=δf,thTt−1=∂E∂neti,t∂neti,t∂Wih,t=δi,thTt−1=∂E∂netc̃,t∂netc̃,t∂Wch,t=δc̃,thTt−1(64)(65)(66)(67)(68)(69)(70)(71)(72)(73)(74) $$\begin{array}{}\text{(64)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{oh,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{W}_{oh,t}}\text{(65)}& & ={\delta }_{o,t}{\mathbf{h}}_{t-1}^T\text{(66)}& \text{(67)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{fh,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{W}_{fh,t}}\text{(68)}& & ={\delta }_{f,t}{\mathbf{h}}_{t-1}^T\text{(69)}& \text{(70)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ih,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{W}_{ih,t}}\text{(71)}& & ={\delta }_{i,t}{\mathbf{h}}_{t-1}^T\text{(72)}& \text{(73)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ch,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{W}_{ch,t}}\text{(74)}& & ={\delta }_{\tilde{c},t}{\mathbf{h}}_{t-1}^T\end{array}$$

将各个时刻的梯度加在一起, 就能得到最终的梯度:

∂E∂Woh∂E∂Wfh∂E∂Wih∂E∂Wch=∑j=1tδo,jhTj−1=∑j=1tδf,jhTj−1=∑j=1tδi,jhTj−1=∑j=1tδc̃,jhTj−1(75)(76)(77)(78) $$\begin{array}{}\text{(75)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{oh}}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{o,j}{\mathbf{h}}_{j-1}^T\text{(76)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{fh}}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{f,j}{\mathbf{h}}_{j-1}^T\text{(77)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ih}}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{i,j}{\mathbf{h}}_{j-1}^T\text{(78)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ch}}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{\tilde{c},j}{\mathbf{h}}_{j-1}^T\end{array}$$

对于偏置项 bf,bi,bc,bo ${\mathbf{b}}_{\mathbf{f}},{\mathbf{b}}_{\mathbf{i}},{\mathbf{b}}_{\mathbf{c}},{\mathbf{b}}_{\mathbf{o}}$ 的梯度, 先求出各个时刻的偏置项梯度:

∂E∂bo,t∂E∂bf,t∂E∂bi,t∂E∂bc,t=∂E∂neto,t∂neto,t∂bo,t=δo,t=∂E∂netf,t∂netf,t∂bf,t=δf,t=∂E∂neti,t∂neti,t∂bi,t=δi,t=∂E∂netc̃,t∂netc̃,t∂bc,t=δc̃,t(79)(80)(81)(82)(83)(84)(85)(86)(87)(88)(89) $$\begin{array}{}\text{(79)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{o,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{b}}_{o,t}}\text{(80)}& & ={\delta }_{o,t}\text{(81)}& \text{(82)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{f,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{b}}_{f,t}}\text{(83)}& & ={\delta }_{f,t}\text{(84)}& \text{(85)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{i,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{b}}_{i,t}}\text{(86)}& & ={\delta }_{i,t}\text{(87)}& \text{(88)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{c,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{b}}_{c,t}}\text{(89)}& & ={\delta }_{\tilde{c},t}\end{array}$$

将各个时刻的偏置项梯度加在一起:

∂E∂bo∂E∂bi∂E∂bf∂E∂bc=∑j=1tδo,j=∑j=1tδi,j=∑j=1tδf,j=∑j=1tδc̃,j(90)(91)(92)(93) $$\begin{array}{}\text{(90)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_o}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{o,j}\text{(91)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_i}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{i,j}\text{(92)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_f}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{f,j}\text{(93)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_c}& =\underset{j=1}{\overset{t}{\sum }}{\delta }_{\tilde{c},j}\end{array}$$

对于 Wfx,Wix,Wcx,Wox ${\mathbf{W}}_{fx},{\mathbf{W}}_{ix},{\mathbf{W}}_{cx},{\mathbf{W}}_{ox}$ 的权重梯度, 只需要根据相应的误差项直接计算即可:

∂E∂Wox∂E∂Wfx∂E∂Wix∂E∂Wcx=∂E∂neto,t∂neto,t∂Wox=δo,txTt=∂E∂netf,t∂netf,t∂Wfx=δf,txTt=∂E∂neti,t∂neti,t∂Wix=δi,txTt=∂E∂netc̃,t∂netc̃,t∂Wcx=δc̃,txTt(94)(95)(96)(97)(98)(99)(100)(101)(102)(103)(104) $$\begin{array}{}\text{(94)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ox}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{W}_{ox}}\text{(95)}& & ={\delta }_{o,t}{\mathbf{x}}_t^T\text{(96)}& \text{(97)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{fx}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{W}_{fx}}\text{(98)}& & ={\delta }_{f,t}{\mathbf{x}}_t^T\text{(99)}& \text{(100)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ix}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{W}_{ix}}\text{(101)}& & ={\delta }_{i,t}{\mathbf{x}}_t^T\text{(102)}& \text{(103)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{cx}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{W}_{cx}}\text{(104)}& & ={\delta }_{\tilde{c},t}{\mathbf{x}}_t^T\end{array}$$

以上就是LSTM的训练算法的全部公式

GRU

上面所述是一种普通的LSTM, 事实上LSTM存在很多变体, GRU就是其中一种最成功的变体. 它对LSTM做了很多简化, 同时保持和LSTM相同的效果.

GRU对LSTM做了两大改动:

1. 将输入门, 遗忘门, 输出门变为两个门: 更新门(Update Gate) zt ${\mathbf{z}}_t$和充值门(Reset Gate) rt ${\mathbf{r}}_{\mathbf{t}}$.
2. 将单元状态与输出合并为一个状态: h $\mathbf{h}$

GRU的前向计算公式为:

ztrth̃th=σ(Wz⋅[ht−1,xt])=σ(Wr⋅[ht−1,xt])=tanh(W⋅[rt∘ht−1,xt])=(1−zt)∘ht−1+zt∘h̃t(105)(106)(107)(108) $$\begin{array}{}\text{(105)}& {\mathbf{z}}_t& =\sigma (W_z\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t])\text{(106)}& {\mathbf{r}}_t& =\sigma (W_r\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t])\text{(107)}& {\stackrel{\mathbf{~}}{\mathbf{h}}}_t& =\tanh (W\cdot [{\mathbf{r}}_t\circ {\mathbf{h}}_{t-1},{\mathbf{x}}_t])\text{(108)}& \mathbf{h}& =(1-{\mathbf{z}}_t)\circ {\mathbf{h}}_{t-1}+{\mathbf{z}}_t\circ {\stackrel{\mathbf{~}}{\mathbf{h}}}_t\end{array}$$

下图是GRU的示意图: