Reference: Alex Graves的[Supervised Sequence Labelling with RecurrentNeural Networks]
Alex是RNN最著名变种，LSTM发明者Jürgen Schmidhuber的高徒，现加入University of Toronto，拜师Hinton。
统计语言模型与序列学习
1.1 基于频数统计的语言模型
NLP领域最著名的语言模型莫过于N-Gram。
它基于马尔可夫假设，当然，这是一个2-Gram(Bi-Gram)模型：
任意一个词$W_{i}$出现的概率只同它前面的词$W_{i-1}$有关。
迁移到N-Gram中，就变成：
在一个句子当中，一个单词的T出现的概率，和其前N个单词是有关的:
$P(W_{t}|W_{t-N}....,W_{t-1},W_{t+1}....,W_{t+N})$
早期计算Bi-Gram的方法，正如吴军博士所著的《数学之美》里科普的那样，采用词频统计法：
$P(W_{i}|W_{i-1})=\frac{P(W_{i-1},W_{i})}{P(W_{i-1})}\approx \frac{Cnt(W_{i-1},W_{i})}{Cnt(W_{i-1})}$
只需要统计一下$W_{i}$、$W_{i-1}$一起出现的频数就可以了。
看起来确实很简单，很数学之美。当然，作为一本科普读物，它是不会告诉你这种方法是有多大危害的。
具体实现，可以使用以下两个算法：
①KMP：将$W_{i}$、$W_{i-1}$两个词拼在一起，跑一次Text串。
②AC自动机：同样拼接，不过是预先拼好所有的模式串，输入AC自动机里，仅仅跑一次Text串。
但如果你是一名ACM选手，应该对AC自动机深有体会，这玩意简直就是内存杀手。
两者相害，取其轻。很明显，实际运用的时候，根本不会考虑KMP，优先选择空间换时间的AC自动机算法。
在[CS224D Lecture7]中，Socher提到了N-Gram频数统计法的state-of-art结果，[Heafield 2013]
看看Abstract就够吓人了：
Using one machine with 140 GB RAM for 2.8 days, we built an unpruned model on 126 billion tokens.
还是建立在 MapReduce 上。这种吃硬件的方法，不得不说，真是够糟糕的。
1.2 基于神经网络的语言模型
Neural Network Language Model (NNLM)，最早正式在[Bengio03]提出。
Bengio使用的是一个经典的前馈网络来训练N-Gram不同之处在于，输入层是可训练的。
输入层最后被训练成Word Vector，在[Mikolov13]提出Word2Vec之前，大多称为Word Embeddings。
具体的方法:
①为每个词，构建$|N*Dim|$的向量参数。这点与Word2Vec的简化方法有所不同。
Word2Vec取消训练了词序信息，所以向量大小是$|Dim|$。
②拿到一个句子，句子长度是T，利用词的索引，组合出$|T，N*Dim|$的输入矩阵。
③如普通NN一样，Softmax误差，BP传播，更新。
NNLM方法，轻量的复现的N-Gram模型，需要更少的内存。且无须做平滑处理，如[Katz backoff]。
1.3 序列学习
正如朴素贝叶斯假设一样，马尔可夫假设也是一种糟糕的近似。
对于一个词$W_{i}$，只覆盖前N个词，很多时候是抓不住重点的。
最好的解决方案，当然是对于一个词$W_{i}$，覆盖其前面的所有词。
模仿动态规划原理，构建成一个动态序列模型。这需要Recurrent Neural Network(RNN)来实现。
RNN通常译为循环神经网络，其类似动态规划的原理，也可译为时序递归神经网络。
当然还有结构递归神经网络RNN（Recursive Neural Network)，使用频率不高，没落。
通常RNN指的是时序递归RNN。
RNN结构与更新
2.1 经典之作：Elman's Simple Recurrent Networks(SRN)
J. L. Elman提出的SRN是RNN系中结构最简单的一个变种，相较于传统的2层FC前馈网络，它仅仅在FC层添加了时序反馈连接。
左图是不完整的结构图，因为循环层的环太难画，包含自环、交叉环。
所以RNN一般都画成时序展开图，如右图。
从时序展开图中，容易看出，SRN在时序t时，前面的全部状态，压缩在一起，输入到当前隐层中。
因而，RNN可以看成是具有动态深度结构的图模型，随着时序的增加，网络深度越来越大，因而属于深度神经网络。
2.2 前向传播
较于2层前馈网络，唯一变化是，时序为$t$时，隐层输入由两部分组成：
①输入层映射变换。(非递归)
②时序为$t-1$时，隐层神经元的激活输出。(时序递归)
以下用$a_{j}^{t}$表示神经元j的输入，$b_{j}^{t}$表示神经元j的激活后输出，为表示清晰，忽略Bias。
输入到达隐层时，有：
$a_{h}^{t}=\sum_{i=1}^{I}w_{ih}x_{i}^{t}+\sum_{h^{'}=1}^{H}w_{h^{'}h}b_{h^{'}}^{t-1}$
多出的$h^{'}->h$变换，大可称为隐隐层变换，为前馈网络带来记忆槽。
它记忆着时序$[1,t-1]$到达输出层之前的神经元的全部状态。
激活隐层神经元后，有：
$b_{h}^{t}=Activation(a_{h}^{t})$
经过输出层后，有:
$y_{k}^{t}=Softmax(W_{hk}b_{h}^{t})$
2.3 反向传播
仿照BP网络一样，定义局部梯度：
$\delta _{y}^{t}=\frac{\partial \mathcal{L}}{\partial b_{y}^{t}} \cdot \frac{\partial b_{y}^{t}}{\partial a_{y}^{t}}$
也就是说，从似然函数开始，由链式尾，导到$\partial W$的前一步。
对输出层，有:
$\frac{\partial \mathcal{L}}{\partial W_{hk}}=\delta_{k}^{t}\cdot\frac{\partial a_{j}^{t}}{\partial W_{hk}}$
$\delta_{k}^{t}$即，Softmax里的 $(1\{y_{i}=j\}-P(y^{(i)}=j|x;\theta_{j})),j=1,2....k$
对隐隐层，有:
$\frac{\partial \mathcal{L}}{\partial W_{h^{'}h}}=\sum_{p=1}^{t}\frac{\partial \mathcal{L}}{\partial b_{k}^{t}}\cdot\frac{\partial b_{k}^{t}}{\partial a_{k}^{t}}\cdot\frac{\partial b_{h}^{t}}{\partial b_{h}^{p}}\cdot\frac{\partial b_{h}^{p}}{\partial W_{h^{'}h}} \qquad where \quad \frac{\partial b_{h}^{t}}{\partial b_{h}^{p}}=\prod_{j=p+1}^{t}\frac{\partial b_{h}^{j}}{\partial b_{h}^{j-1}}$
上式来自[CS224d Lecture7]，是RNN的Feet of Clay，需要牢记。
因为需要累乘，相当于求一个超深度神经网络结构的梯度，会带来严重的Gradient Vanish\Exploding。下文会详细描述。
至于为什么可以写成那样，你可以用一个简单的单神经元，无激活函数的网络推一下：
$a_{3}=wx_{3}+w^{'}a_{2}=....=wx_{3}+w^{'}wx_{2}+(w^{'})^{2}wx_{1}\\\\\frac{\partial a_{3}}{w^{'}}=????\\\\Answer=\frac{\partial a_{3}}{\partial a_{3}}\cdot\frac{\partial a_{3}}{w^{'}}+\frac{\partial a_{3}}{\partial a_{3}}\cdot\frac{\partial a_{3}}{\partial a_{2}}\cdot\frac{\partial a_{2}}{w^{'}}+\frac{\partial a_{3}}{\partial a_{3}}\cdot\frac{\partial a_{3}}{\partial a_{2}}\cdot\frac{\partial a_{2}}{\partial a_{1}}\cdot\frac{\partial a_{1}}{w^{'}}$
同样，去掉后面的部分，有局部梯度：
$\delta_{h^{'}}^{t}=\sum_{p=1}^{t}\frac{\partial \mathcal{L}}{\partial b_{k}^{t}}\cdot\frac{\partial b_{k}^{t}}{\partial a_{k}^{t}}\cdot\frac{\partial b_{h}^{t}}{\partial b_{h}^{p}} \qquad where \quad \frac{\partial b_{h}^{t}}{\partial b_{h}^{p}}=\prod_{j=p+1}^{t}\frac{\partial b_{h}^{j}}{\partial b_{h}^{j-1}}$
这样，对隐层，就有著名的BPTT更新法则，正如[Alex]书中所写：
$\delta _{h}^{t}=Activation^{'}(a_{h}^{t})\begin{pmatrix}\sum_{k=1}^{K}\delta _{k}^{t}w_{hk}+\sum_{h^{'}=1}^{H}\delta _{h^{'}}^{t+1}w_{hh^{'}}\end{pmatrix}$
当然$\delta _{h^{'}}^{T+1}$会越界，等于0。
这里，最头疼的是，为什么隐隐层的局部梯度是取决于时序t+1的？
这个需要跨越一步来看，$W^{t}$不仅会在当前时序t，作为隐层参数出现，还会在时序t+1，作为隐隐层的附加参数出现。
这样，链式法则波及到了时序t，以及时序t+1，所以局部梯度由两部分组成，这是BPTT更新法的精髓。
最后一部分:
$\frac{\partial \mathcal{L}}{\partial W_{ih}}=\frac{\partial \mathcal{L}}{\partial a_{h}^{t}}\cdot\frac{\partial a_{h}^{t}}{\partial W_{ih}}=\delta _{h}^{t}x_{i}^{t}$
RNN与语义分析
RNN的祖先是1982年提出的Hopfield网络。
Hopfield网络因为实现困难，外加没有合适应用，被86年后的前馈网络取代。
90年代恰逢神经网络衰落期，前馈MLP在Optimization上被揪出种种弊端，又被SVM取代。
在Represention上，CV界老一辈还在用着hand-made特征，Speech&NLP也偏重Statistics的特征。
1990年提出的两种变种RNN，Elman&Jordan SRN同样因为没有合适的实际应用，很快又被无视。
过了十几年，遇上了DL热潮，RNN被研究出具有挖掘语义信息的Distrubuted Represention能力。
终于被拿来做Speech和Language Model方面语义分析相关任务。
3.1 记忆特性
一个时长为T的Simple RNN，unfold(展开)后实质是一个深度为T的前馈网络。
序列上所有的输入信息、non-linearity变换的隐态信息从开始时刻，一直保留至当前时刻。
从生物神经学角度，就是长期记忆(Long-Term Memory)特性。
前馈网络不是万能的，尽管在CV上大放光彩，但确实不适合解决逻辑问题。
Prolog曾经大放光彩，很多人坚信概率解决不了逻辑智能问题，但被RNN打脸了，比如下面这个问题：
RNN就能够通过长记忆，向前搜索出输入中的关键信息。
3.2 Gradient Vanish
深度神经网络的头号问题就是Gradient Vanish，尤其是比MLP还要深多少倍的RNN。
★数学角度：[Bengio94]给出了Simple RNN出现Gradient Vanish的原因：
$\left | \prod_{j=p+1}^{t}\frac{\partial b_{h}^{j}}{\partial b_{h}^{j-1}}\right |\leqslant (\beta_{W}\cdot\beta_{h})^{t-p} \quad where \quad \beta =UpperBound$
W、h两个参数矩阵，先积后幂，导致上界突变速度飞快，要么$\rightarrow 0$，要么$\rightarrow \infty$
如若引入大量的饱和Non-Linearity，如Sigmoid(Logistic|Tanh)，那么最普遍的情况就是$Gradient \rightarrow 0$
★生物学角度：
术语称之为Long-Term Memory退化到Short-Term Memory，只能记忆短期记忆。
3.3 RNNLM
尽管Simple RNN有诸多缺陷，但Short-Term Memory毕竟聊胜于无。
[Mikolov10]最先提出用RNN来做LM，不过并没有用Word Embedings。
RNNLM从sentence-level切入，把一个sentence看成是一个sequence，逐个跑word推动时序。
3.4 RNN For Speech Understanding
[Mesnil13]则又将RNN同最近比较火的Word Embedings结合起来。
这篇paper是Bengio组Mesnil和在微软实习的时候和Redmond研究院语音领域两位大牛Xiaodong He、Li Deng合作的。
目测是在MS传播导师的Theano。(OS：看你们还在公式推Gradient，啊哈哈哈)
3.4.1 Word embeddings
回过头来再看[Mikolov13]的Word2Vec，13年开始真是全民玩起了词向量。
[Mesnil13]总结了词向量的几点好处:
★以较小的维度向量，提纯出Word的N维的欧几里得空间信息，俗称降维。
★可以先在Wiki之类的大型Corpus上Pre-Training出部分语义语法信息，
然后根据实际任务Fine-Tuning，符合深度学习原则。
★大幅度提升Generalization。
3.4.2 Context Window
另一个流行起来的Trick就是Context Window，Word2Vec的核心之一。
不同的是，Word2Vec丢弃了窗口词的空间排列信息，而正常方法则选择将窗口词合并。
[Bengio03]中的词向量，是在词典里直接取整个Dim长度的向量，设Dim=350。
而做了Context Window之后，单个词的Dim变小，通常为(50|100)，窗口大小通常为(3~19)：
[Mesnil13]给出Context Window的唯一作用：
★强化短期记忆(Short-Term)
看起来不是很有说服力，从Word2Vec来看，起码还有这些作用：
★强化上下文信息捕捉能力
★强化语义、语法信息捕捉能力