使用jieba库分词
一.什么是jieba库
1.jieba库概述
jieba是优秀的中文分词第三方库，中文文本需要通过分词获得单个词语。
2.jieba库的使用：（jieba库支持3种分词模式）
通过中文词库的方式识别
精确模式：把文本精确的切分开，不存在冗余单词
全模式：把文本所有可能的词语都描述出来，有冗余
搜索引擎模式：在精确模式的基础上，对长词进行切分
3.jieba库是属于python中优秀的中文分词第三方库，需要额外安装
二.安装jieba库
途径1：百度jieba库下载（百度上很多jieba库的安装教程，可以参考一下）
方法2：在计算机命令行输入
pip install jieba
按下回车就会自动安装，稍微等待就可以了
三.函数库的调用
jieba库在python的 IDLE中运行时可以使用两种导入方式
（1）
导入库函数：import <库名>
使用库中函数：<库名> . <函数名> (<函数参数>)
例如：import jieba
jieba.lcut()
jieba.lcut(" ",cut_all=True)
jieba.lcut_for_search()
(2) 导入库函数：from <库名> import * ( *为通配符 )
使用库中函数：<函数名> (<函数参数>)
例如：from jieba import *
lcut()
lcut(" ",cut_all=True)
lcut_for_search()
四.jieba库的实际应用（对文本的词频统计）
文本是水浒传，百度上下载的
from jieba import *
excludes=lcut_for_search("头领两个一个武松如何只见说道军马众人那里")
txt=open("水浒传.txt","r").read()
words=lcut(txt)
counts={}
for word in words:
if len(word)==1:
continue
elif word =="及时雨" or word == "公明" or word =="哥哥" or word == "公明曰":
rword ="宋江"
elif word =="黑旋风" or word =="黑牛":
rword ="李逵"
elif word =="豹子头" or word == "林教头":
rword ="林冲"
elif word =="智多星" or word =="吴用曰":
rword ="吴用"
else:
rword=word
counts[word]=counts.get(word,0)+1
for word in excludes:
del(counts[word])
items=list(counts.items())
items.sort(key=lambda x:x[1],reverse=True)
for i in range(10):
word,count=items[i]
print("{0:<10}{1:>5}".format(word,count))
运行结果：（有些多余的词语未做好排除，代码仍需要改进）
五.词云图（jieba库与wordcloud库的结合应用）
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from jieba import * # 生成词云
def create_word_cloud(filename):
text = open("{}.txt".format(filename)).read()
font = 'C:\Windows\Fonts\simfang.ttf'
wordlist = cut(text, cut_all=True) # 结巴分词
wl = " ".join(wordlist) # 设置词云
wc = WordCloud(
# 设置背景颜色
background_color="black",
# 设置最大显示的词云数
max_words=200,
# 这种字体都在电脑字体中，一般路径
font_path= font,
height=1200,
width=1600,
# 设置字体最大值
max_font_size=100,
# 设置有多少种随机生成状态，即有多少种配色方案
random_state=100,
) myword = wc.generate(wl) # 生成词云
# 展示词云图
plt.imshow(myword)
plt.axis("off")
plt.show()
wc.to_file('img_book.png') # 把词云保存下 if __name__ == '__main__':
create_word_cloud('水浒传')
运行结果
