【万字长文】Word2Vec计算详解（二）Skip-gram模型

【万字长文】Word2Vec计算详解（二）Skip-gram模型

写在前面

本篇介绍Word2Vec中的第二个模型Skip-gram模型

【万字长文】Word2Vec计算详解（一）CBOW模型 markdown行 9000+
【万字长文】Word2Vec计算详解（二）Skip-gram模型 markdown行 12000+
【万字长文】Word2Vec计算详解（三）分层Softmax与负采样 markdown行 18000+

Skip-gram模型

Skip-gram 模型是自然语言处理（NLP）中 Word2Vec 的一种重要模型。与 CBOW 正好反过来，Skip-gram的主要思想是通过输入某个单词，要求预测它的上下文单词。

模型结构

Skip-gram 模型的输入是目标单词的one-hot向量，通过线性变换形成预测上下文单词的向量，然后再通过一次线性变换得到每一个上下文单词的得分表，最后经过多分类得到要预测的上下文单词。Skip-gram 的模型结构如下图所示。

预处理

在正式介绍模型输入前，需要简单介绍模型输入前的处理。模型的预处理与 CBOW 模型的预处理一致，需要得到词汇表的 one-hot表示，这里详细可以参考 CBOW 模型的预处理。

模型输入

在模型中，将目标单词表示为独热编码（one-hot encoding）向量然后作为 Skip-gram 模型的输入$x_i$，$x_i\in {\mathbb{R}}^{V\times 1}$，$i$为目标单词所在位置。

权重输入层

在这一层，我们将的得到 one-hot 编码的目标单词 $x_i\in {\mathbb{R}}^{V\times 1}$ 与隐藏层的权重输入矩阵 $W$ 相乘再加上置偏值 $b$ 得到隐藏层向量 $h$。其中 $W\in {\mathbb{R}}^{D\times V}$，$b\in {\mathbb{R}}^{D\times 1}$，$h\in {\mathbb{R}}^{D\times 1}$。写成矩阵的形式为
$$h=W{x}_i+b$$

权重输出层

我们将得到 $h$ 与隐藏层的权重输出矩阵 $W_j^{\prime }\in {\mathbb{R}}^{V\times D}$ 相乘再加上置偏值 $b_j^{\prime }\in {\mathbb{R}}^{V\times 1}$ 得到多个上下文单词得分的向量 $S_j\in {\mathbb{R}}^{V\times 1}$， $S=(S_1,S_2,\dots ,S_{2C}{)}^T$。其中$W_j$ 表示为位置索引为 $j$ 处的预测的上下文单词的权重输出矩阵，$b_j$ 表示为位置索引为 $j$ 处的预测的上下文单词的权重矩阵对应的置偏，$S_j$ 表示为位置索引为 $j$ 处的预测的上下文单词的得分。其中，$j=1,2,3,\cdots ,2C$，$C$为窗口大小，要预测窗口大小为 $C$ 的上下文，就要预测位置为$j$上的前$C$个单词和后$C$个单词，总共为 $2C$ 个单词。将上面运算写成矩阵的形式为

$$S_j=W_j^{\prime }h+b_j^{\prime }$$
其中$j=1,2,\dots ,C$为上文索引，$j=C+1,C+2,\dots ,2C$为下文索引，最后构成总的上下文索引。我们定义$S_j=(S_j(0),S_j(1),\dots ,S_j(V-1){)}^T$，方便后面使用。

Softmax层

我们将输出层得到的的得分$S_j$用 Softmax 处理为概率$P_j$。 $P_j=(P_j(0),P_j(1),\dots ,P_j(V-1){)}^T$，$P_j$ 表示位置索引为 $j$ 处的上下文单词的概率向量。其中 $P_j\in {\mathbb{R}}^{V\times 1}$，$S_j(k)$表示得分向量 $S_j$ 第 $k$ 行对应位置的得分值。$P_j(k)$表示向量 $P_j$ 第 $k$ 行对应位置的概率值。Softmax 公式见 (\ref{SG02})。运算写成矩阵的形式为
P j ( k ) = Softmax ( S j ) = exp ⁡ ( S j ( k ) ) ∑ l = 0 V − 1 exp