1. 从一个栗子开始 - Slot Filling
比如在一个订票系统上，我们的输入 “Arrive Taipei on November 2nd” 这样一个序列，我们设置几个槽位（Slot），希望算法能够将关键词'Taipei'放入目的地（Destination）槽位， 将November和2nd放入到达时间（Time of Arrival）槽位，将Arrive和on放入其他（Other）槽位，实现对输入序列的一个归类，以便后续提取相应信息。
用前馈神经网络（Feedforward Neural Network）来解决这个问题的话，我们首先要对输入序列向量化，将每一个输入的单词用向量表示，可以使用 One-of-N Encoding 或者是 Word hashing 等编码方法，输出预测槽位的概率分布。
但是这样做的话，有个问题就出现了。如果现在又有一个输入是 “Leave Taipei on November 2nd”，这里Taipei是作为一个出发地（Place of Departure），所以我们应当是把Taipei放入Departure槽位而不是Destination 槽位，可是对于前馈网络来说，对于同一个输入，输出的概率分布应该也是一样的，不可能出现既是Destination的概率最高又是Departure的概率最高。
所以我们就希望能够让神经网络拥有“记忆”的能力，能够根据之前的信息（在这个例子中是Arrive或Leave）从而得到不同的输出。将两段序列中的Taipei分别归入Destionation槽位和Departure槽位。
2. RNN
-
基本概念
在RNN中，隐层神经元的输出值都被保存到记忆单元中，下一次再计算输出时，隐层神经元会将记忆单元中的值认为是输入的一部分来考虑
RNN中考虑了输入序列顺序，序列顺序的改变会影响输出的结果。
-
常见变体
- Elman Network
将隐层的输出（即记忆单元中的值）作为下一次的输入
\(h_t = \sigma_h(W_hx_t + U_h\color{green}{h_{t-1}} + b_h)\)
\(y_t = \sigma_h(W_yh_t + b_y)\)
- Jordan Network
将上一时间点的输出值作为输入
\(h_t = \sigma_h(W_hx_t + U_h\color{green}{y_{t-1}} + b_h)\)
\(y_t = \sigma_h(W_yh_t + b_y)\)
- Bidirectional RNN
- Elman Network
3. Long Short-term Memory （LSTM）
- 基本结构
- 由Memory Cell， Input Gate， Output Gate， Forget Gate 组成
- 特殊的神经元结构，包含4个input（三个Gate的控制信号以及输入的数据），1个output
- 激活函数通常选用sigmoid function， sigmoid的输出介于0到1之间，表征了Gate的打开程度。
Traditional LSTM
\[\begin{align}f_t & = \sigma_g(W_fx_t + \color{green}{U_fh_{t-1}} + b_f) \\i_t & = \sigma_g(W_i x_t + \color{green}{U_ih_{t-1}} + b_i) \\o_t & = \sigma_g(W_o x_t + \color{green}{U_oh_{t-1}} + b_o) \\c_t & = f_t\,{\circ}\,c_{t-1} + i_t\,{\circ}\,\sigma_c(W_cx_t\color{green}{+ U_ch_{t-1}} +b_c) \\h_t & = o_t \,{\circ}\, \sigma_h(c_t)\end{align}\]-
Peephole LSTM， 在大部分的情况下，用\(\color{blue}{c_{t-1}}\)取代\(\color{green}{h_{t-1}}\)
\[\begin{align}f_t & = \sigma_g(W_fx_t + \color{green}{U_f\color{blue}{c_{t-1}}} + b_f) \\i_t & = \sigma_g(W_i x_t + \color{green}{U_i\color{blue}{c_{t-1}}} + b_i) \\o_t & = \sigma_g(W_o x_t + \color{green}{U_o\color{blue}{c_{t-1}}} + b_o) \\c_t & = f_t\,{\circ}\,c_{t-1} + i_t\,{\circ}\,\sigma_c(W_cx_t +b_c) \\h_t & = o_t \,{\circ}\, \sigma_h(c_t)\end{align}\]- \(x_t\)表示输入向量，\(h_t\)表示输出向量，\(c_t\)表示记忆单元的状态向量，\(\circ\)代表Hadamard product（A.k.a. Schur product）
- \(W\)表示输入权重，\(U\)表示循环权重，\(b\)表示偏置
- \(\delta_g\)代表sigmoid function，\(\delta_c\)代表hyperbolic tangent， \(\delta_h\)表示 hyperbolic tangent（peephole LSTM论文中建议选用\(\delta_h(x)=x\)）
-
\(f_t\)，\(i_t\)和\(o_t\)表示门控向量值
- \(f_t\)表示遗忘门向量，表征记忆旧信息的能力
- \(i_t\)表示输入门向量，表征获取新信息的能力
- \(o_t\)表示输出门向量，表征输出信息的能力
- 补充知识点
- Short-term，表示保留对前一时间点输出的短期记忆，相比于最原始的RNN结构中的记忆单元（每次有新的输入时记忆体的状态就会被更新，因此是短期的记忆），而LSTM的记忆体则拥有相对较长的记忆时间（由Forget Gate决定），所以是Long Short-term
- LSTM一般采用多层结构组合，Multiple-layer LSTM
- Keras中实现了LSTM，GRU（[Cho,Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation,EMNLP'14] 只有两个Gate，容易训练），SimpleRNN层，可以方便的调用。
4. RNN如何学习？
- 损失函数的定义：
- 每一个时间点的RNN的输出和标签值的交叉熵（cross-entropy）之和
- 训练过程：
- 使用被称作Backpropagation through time（BPTT）的梯度下降法
- 训练其实是比较困难的，因为Total Loss可能会出现剧烈的抖动
- 根据论文[Razvan Pascanu,On the difficulty of training Recurrent Neural Networks,ICML'13]上对RNN的分析，损失函数的表面要么非常平坦，要么非常陡峭（The error surface is either very flat or very steep），当你的参数值在较为平坦的区域做更新时，因此该区域梯度值比较小，此时的学习率一般会变得的较大，如果突然到达了陡峭的区域，梯度值陡增，再与此时较大的学习率相乘，参数就有很大幅度更新（实线表示的轨迹），因此学习过程非常不稳定。Razvan Pascanu使用了叫做“Clipping”的训练技巧：为梯度设置阈值，超过该阈值的梯度值都会被cut，这样参数更新的幅度就不会过大（虚线表示的轨迹），因此容易收敛。
- 为什么在RNN中会有这种问题？
- 是因为激活函数选用了sigmoid而不是ReLU么？然而并不是。事实上，在RNN中使用ReLU反而效果会不如Sigmoid，不过也是看你的参数初始化值的选取，所以也不一定，比如后面提到的Quoc V.Le的那篇文章，使用特别初始化技巧硬训ReLU的RNN得到了可比拟LSTM的效果。因此激活函数并不是这里的关键点。
- 那究竟是什么原因呢？我们来分析梯度更新公式中的\(w-\eta\frac{\partial{L}}{\partial{w}}\)来探寻一番。但是这样一个偏微分的关系我们应该如何来分析呢？这里我们用一个技巧：给w值一个微小的变化，观察对应的Loss的变化情况。假设当前模型是1000个只含有一个线性隐层的RNN级联结构。并假设我们当前的输入是100000……（只有第一个值是1，剩下全是0），因此最后的输出值是\(w^{999}\)。现在假设我们\(w\)的值是1，那么RNN在最后时间点的输出是1，给\(w\)一个微小的变化+0.01，此时的输出变成了大约20000！这段区域呈现出一个陡峭的趋势。如果给\(w\)一个微小的变化-0.01变为0.99，测试的输出基本变成0，哪怕是\(w\)变到0.01时，输出依旧是0，这段区域呈现出一个平坦的趋势。因此我们可以看出由于RNN采用时间序列的结构，权重值在不同时间点被反复使用，这种累积性的变化可能对结果造成极大的影响，也可能会很长一段时间保持平稳。
- 常用的技巧
- 使用LSTM单元。LSTM单元可以处理梯度消失问题，但无法处理梯度爆炸问题。为什么呢？这是因为RNN和LSTM对待记忆单元的做法是不同的，RNN中每一个时间点的记忆单元中的内容（状态）都会更新，而LSTM则是将记忆单元中的值与输入值相加（按某种权值）再更新状态，记忆单元中的值会始终对输出产生影响（除非Forget Gate完全的关闭），因此不用担心梯度值会弥散，相反的，这倒极易引起梯度爆炸。
- 采用一些更新颖的结构或训练方法，比如：
- Clockwise RNN [Jan Koutnik,A Clockwork RNN,JMLR'14]
- Structurally Constrained Recurrent Network（SCRN）[Tomas Mikolov,Learning Longer Memory in Recurrent Neural Networks,ICLR'15]
- Vanilla RNN Initialized with Identity matrix + ReLU activation function [Quoc V.Le,A Simple Way to Initialize Recurrent Networks of Rectified Linear Units,arXiv'15]该位仁兄用了特别的初始化技巧，硬训RNN，效果可比拟甚至超越LSTM
5. RNN的更多应用场景
- Sentiment Analysis 情感分析
- Key Term Extraction 关键字提取
- Speech Recognition 语音辨识
- Connectionist Temporal Classification（CTC）:语音辨识中的一个关键技术，通过增加一个额外的Symbol代表NULL来解决叠字问题（参考论文[Graves, Alex, and Navdeep Jaitly. "Towards end-to-end speech recognition with recurrent neural networks." Proceedings of the 31st International Conference on Machine Learning (ICML-14). 2014.]）。
- Sequence to sequence learning（输入和输出都是不同长度的序列）
- Machine Translation 机器翻译
- Syntactic parsing 句法分析
- Seq-to-seq Auto-encoder
- 将文档转换为向量表示（BoW模型会忽略掉语序，在某些情况下相反意思的语句会产生相同的词袋模型，而RNN的方法考虑语序，因此更为鲁棒）
- 将语音转换为向量表示
- Attention-based Model 注意力模型
- Neural Turing Machine 神经图灵机
- Reading Comprehension
- 问答系统
6. 其他的学习资料
- The Unreasonable Effectiveness of Recurrent Neural Networks
- Understanding LSTM Networks
7. 本文参考资料
- Machine Learning (2016,Fall), Hung-yi Lee, NTU
- Deep Learning, Ian Goodfellow and Yoshua Bengio and Aaron Courville
- Deep Learning in a Nutshell: Sequence Learning
- Long short-term memory