wiki中文语料的word2vec模型构建

时间：2022-05-22 20:30:12

一、利用wiki中文语料进行word2vec模型构建

　1）数据获取

　　到wiki官网下载中文语料，下载完成后会得到命名为zhwiki-latest-pages-articles.xml.bz2的文件，里面是一个XML文件

　　下载地址如下：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2

　　其中：https://dumps.wikimedia.org/zhwiki/latest/提供wiki各种文件下载，而且在不停的更新

　　本人已经下载并上传百度云盘，链接：https://pan.baidu.com/s/1kzMwGwVR4h0wuOYU70aUhA 提取码：2axt

　　然后在桌面新建wiki中文语料的word2vec模型构建文件夹，将下载的压缩文件放在内，进入wiki中文语料的word2vec模型构建文件夹，按住shift+右键，选择在此处打开命令窗口

　　输入jupyter notebook，新建一个名为：wiki_word2vec_test的脚本文件：

wiki中文语料的word2vec模型构建

　2）将XML的Wiki数据转换为text格式

　　使用gensim.corpora中的WikiCorpus函数来处理*的数据，转换后生成的文件wiki.zh.txt

import logging

import sys

import os

from gensim.corpora import WikiCorpus

program = os.path.basename( sys.argv[0] )

logger = logging.getLogger(program)

logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')

logging.root.setLevel(level=logging.INFO)

logger.info( "running %s" % ' '.join(sys.argv) )

inp = 'zhwiki-latest-pages-articles.xml.bz2'

outp = 'wiki.zh.txt'

space = ' '

i = 0

output = open(outp, 'w', encoding='utf-8')

#gensim里的*处理类WikiCorpu

wiki = WikiCorpus(inp, lemmatize=False, dictionary=[] )

#通过get_texts将维基里的每篇文章转换为1行text文本，并且去掉了标点符号等内容

for text in wiki.get_texts():

    output.write( space.join(text) + '\n' )

    i += 1

    if ( i % 10000 == 0):

        logger.info('Saved ' + str(i) + ' articles.')

output.close()

logger.info('Finished Saved ' + str(i) + ' articles.')

　　从下面的结果看27min处理了331588条数据，还是比较慢的，已经将wiki.zh.txt上传云盘，并且被压缩：

　　链接：https://pan.baidu.com/s/1g7d87ztvAdr8CZd2rCnvOg 提取码：42x5

wiki中文语料的word2vec模型构建

　3）中文繁体转简体

　　Wiki中文语料中包含了很多繁体字，需要转成简体字再进行处理，这里使用到了OpenCC工具进行转换

　　安装OpenCC：下载对应版本的OpenCC，https://bintray.com/package/files/byvoid/opencc/OpenCC，本人选择的是win 64位

wiki中文语料的word2vec模型构建

　　下载解压后，在wiki中文语料的word2vec模型构建文件夹下打开dos窗口：

opencc -i wiki.zh.txt -o wiki.zh.simp.txt -c t2s.json

#注意可以添加上opencc的绝对路径，t2s.json也要加绝对路径

　　wiki中文语料的word2vec模型构建

　　则会得到文件wiki.zh.simp.txt，即转成了简体的中文，由于文件过大，无法直接打开查看，我们使用代码查看前2行：

import codecs,sys

i = 0

f = codecs.open('wiki.zh.txt','r',encoding="utf-8")

for eachline in f:

    i += 1

    if (i < 3):

        print(eachline)

    else:

        break

　　可以看出有很多繁体字：

wiki中文语料的word2vec模型构建

　　我们再来看看繁体转简体后：

import codecs,sys

i = 0

f = codecs.open('wiki.zh.simp.txt','r',encoding="utf-8")

for eachline in f:

    i += 1

    if (i < 3):

        print(eachline)

    else:

        break

　　是不是都看懂了呢？

wiki中文语料的word2vec模型构建

　　其中的wiki.zh.simp.txt简体文件以及被我压缩，并上传至云盘：

　　链接：https://pan.baidu.com/s/1Gx1iWORvKvmd5AzaZY3raw 提取码：45k5

　4）jieba分词

　　本例中采用结巴分词对字体简化后的wiki中文语料数据集进行分词。由于此语料已经去除了标点符号，因此在分词程序中无需进行清洗操作，可直接分词

　　若是自己采集的数据还需进行标点符号去除和去除停用词的操作

import jieba

import jieba.analyse

import codecs

def prepareData(sourceFile, targetFile):

    f =codecs.open(sourceFile, 'r', encoding='utf-8')

    target = codecs.open(targetFile, 'w', encoding='utf-8')

    print( 'open source file: '+ sourceFile )

    print( 'open target file: '+ targetFile )

    lineNum = 0

    for eachline in f:

        lineNum += 1

        if lineNum % 1000 == 0:

            print('---processing ', sourceFile, lineNum,' article---')

        seg_list = jieba.cut(eachline, cut_all=False)

        line_seg = ' '.join(seg_list)

        target.write(line_seg+ '\n')

    print('---Well Done!!!---' * 4)

    f.close()

    target.close()

sourceFile = 'wiki.zh.simp.txt'

targetFile = 'wiki.zh.simp.seg.txt'

prepareData(sourceFile, targetFile)

　　查看分词结果文件-wiki.zh.simp.seg.txt

import codecs,sys

i = 0

f = codecs.open('wiki.zh.simp.seg.txt','r',encoding="utf-8")

for eachline in f:

    i += 1

    if (i < 3):

        print(eachline)

    else:

        break

wiki中文语料的word2vec模型构建

　　其中分词结果文件wiki.zh.simp.seg.txt已经被压缩并上传云盘：

　　链接：https://pan.baidu.com/s/15R75m5T2WlyjMagqkXbI6g 提取码：zr46

　5）Word2Vec模型训练

　　分好词的文档即可进行word2vec词向量模型的训练了。文档较大，需要内存较大，具体Python代码实现如下所示：

import os

import sys

import logging

from gensim.models import Word2Vec

from gensim.models.word2vec import LineSentence

import multiprocessing

program = os.path.basename(sys.argv[0])

logger = logging.getLogger(program)

logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s',level=logging.INFO)

logger.info("running %s" % ' '.join(sys.argv))

# inp为输入语料, outp1 为输出模型, outp2为原始c版本word2vec的vector格式的模型

inp = 'wiki.zh.simp.seg.txt'

outp1 = 'wiki.zh.text.model'

outp2 = 'wiki.zh.text.vector'

#训练skip-gram 模型

model = Word2Vec( LineSentence(inp), size=400, window=5, min_count=5, workers=multiprocessing.cpu_count() )

model.save(outp1)

model.wv.save_word2vec_format(outp2, binary=False)

　　摘取了最后几行代码运行信息，代码运行完成后得到如下四个文件，其中wiki.zh.text.model是建好的模型，wiki.zh.text.vector是词向量，是每个词对应的词向量，可以在此基础上作文本特征的提取以及分类

wiki中文语料的word2vec模型构建

　　其中wiki.zh.text.mode和wiki.zh.text.vector文件已经上传云盘：

　　wiki.zh.text.mode：https://pan.baidu.com/s/1mlZ_5-mY3GerWnvYADt3sA 提取码：7p83

　　wiki.zh.text.vector：https://pan.baidu.com/s/16vEVQ79FkmVFwMPrA3G5mg 提取码：aaa5

　6）模型测试

　　模型训练好后，来测试模型的结果

import warnings

warnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')# 忽略警告

import sys

import gensim

model = gensim.models.Word2Vec.load('wiki.zh.text.model')

#与足球最相似的

word = model.most_similar("足球")

for each in word:

    print(each[0], each[1])

print('*' * 20)

word = model.most_similar(positive=['皇上','国王'],negative=['皇后'])

for t in word:

    print (t[0],t[1])

print(model.doesnt_match('太后 妃子 贵人 贵妃 才人'.split(' ')))

print('*' * 20)

print(model.similarity('书籍','书本'))

print('*' * 20)

print(model.similarity('逛街','书本'))

　　wiki中文语料的word2vec模型构建

　7）致谢

　　至此，使用python对中文wiki语料的词向量建模就全部结束了，wiki.zh.text.vector中是每个词对应的词向量，可以在此基础上作文本特征的提取以及分类

　　本文参考：https://github.com/AimeeLee77/wiki_zh_word2vec

　　感谢作者的分享，为后续情感分析打下了基础

相关文章