word2vec 训练*正文数据

时间:2022-03-08 06:16:21

参考网页:

用word2vec 跑搜狗SogouCS语料 - 大小4G

word2vec使用指导

从*网页提取的预料:1.9G

训练语句:

// alpha学习率,默认0.025; min-count纳入训练的单词的最低出现频率,默认为5; classes聚类个数
./word2vec -train text -output ANSJ_vectors.bin -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 12 -binary 1
Vocab size: 957807
Words in train file: 362757324
training time: about 30 mins

数据对比:

</pre><pre name="code" class="plain">// 分词采用stanford word segment 工具
语料大小:1.6G
Vocab size: 887566
Words in train file: 283618995