word2vec 入门（二）使用教程篇

时间：2023-12-05 12:16:26

word2vec

要解决问题： 在神经网络中学习将word映射成连续（高维）向量，这样通过训练，就可以把对文本内容的处理简化为K维向量空间中向量运算，而向量空间上的相似度可以用来表示文本语义上的相似度。

一般来说， word2vec输出的词向量可以被用来做很多 NLP 相关的工作，比如聚类、找同义词、词性分析等等。另外还有其向量的加法组合算法。官网上的例子是 ：

vector('Paris') - vector('France') +

vector('Italy') ≈vector('Rome')， vector('king') - vector('man') + vector('woman') ≈

vector('queen')

但其实word2vec也只是少量的例子完美符合这种加减法操作，并不是所有的 case 都满足。

快速入门

1、从http://word2vec.googlecode.com/svn/trunk/ 下载所有相关代码：

一种方式是使用svn Checkout，可加代理进行check。

另一种就是export to github，然后再github上下载，我选择第二种方式下载。

2、运行make编译word2vec工具：（如果其中makefile文件后有.txt后缀，将其去掉）在当前目录下执行make进行编译，生成可执行文件(编译过程中报出很出Warning，暂且不管)；

3、运行示例脚本：./demo-word.sh 看一下./demo-word.sh的内容，大致执行了3步操作

  • 从http://mattmahoney.net/dc/text8.zip 下载了一个文件text8 ( 一个解压后不到100M的txt文件，可自己下载并解压放到同级目录下)；
  • 使用文件text8进行训练，训练过程比较长；
  • 执行word2vec生成词向量到 vectors.bin文件中，（速度比较快，几分钟的事情）

在demo-word.sh中有如下命令

运行结果如图：

word2vec 入门（二）使用教程篇

time ./word2vec -train text8 -output vectors.bin -cbow 1 -size 200 -window 8 -negative 0 -hs 1 -sample 1e-4 -threads 20 -binary 1 -iter 15

以上命令

-train text8 表示的是输入文件是text8

-output vectors.bin 输出文件是vectors.bin

-cbow 1 表示使用cbow模型，默认为Skip-Gram模型

-size 200 每个单词的向量维度是200

-window 8 训练的窗口大小为5就是考虑一个词前八个和后八个词语（实际代码中还有一个随机选窗口的过程，窗口大小小于等于8）

-negative 0 -hs 1不使用NEG方法，使用HS方法。-

sampe指的是采样的阈值，如果一个词语在训练样本中出现的频率越大，那么就越会被采样。

-binary为1指的是结果二进制存储，为0是普通存储（普通存储的时候是可以打开看到词语和对应的向量的）

-iter 15 迭代次数

demo-word.sh中最后一行命令是./distance vectors.bin

该命令是计算距离的命令，可计算与每个词最接近的词了：

word2vec 入门（二）使用教程篇

word2vec还有几个参数对我们比较有用比如-alpha设置学习速率，默认的为0.025. –min-count设置最低频率，默认是5，如果一个词语在文档中出现的次数小于5，那么就会丢弃。-classes设置聚类个数，看了一下源码用的是k-means聚类的方法。要注意-threads 20 线程数也会对结果产生影响。

  • 架构：skip-gram（慢、对罕见字有利）vs CBOW（快）
  • 训练算法：分层softmax（对罕见字有利）vs 负采样（对常见词和低纬向量有利）
  • 欠采样频繁词：可以提高结果的准确性和速度（适用范围1e-3到1e-5）
  • 文本（window）大小：skip-gram通常在10附近，CBOW通常在5附近

4、运行命令 ./demo-phrases.sh：查看该脚本内容，主要执行以下步骤：

最后一行命令./distance vectors-phrase.bin，一个计算word相似度的demo中去，结果如下：

word2vec 入门（二）使用教程篇

word2vec 入门（二）使用教程篇

结果好坏跟训练词库有关。

番外：

如果需要中文语料库，推荐使用维基的或者搜狗（http://www.sogou.com/labs/dl/ca.html），中文分词可使用结巴分词，我觉得很好用。然后进行训练，因为英文不用分词，所以上述过程不涉及分词。

本文主要偏应用，讲解一个例子，便于对word2vec有一个初步了解，后续再更原理。

相关文章