在处理英文文本时，由于英文文本天生自带分词效果，可以直接通过词之间的空格来分词（但是有些人名、地名等需要考虑作为一个整体，比如New York）。而对于中文还有其他类似形式的语言，我们需要根据来特殊处理分词。而在中文分词中最好用的方法可以说是jieba分词。接下来我们来介绍下jieba分词的特点、原理与及简单的应用
１、特点
１）支持三种分词模式
精确模式：试图将句子最精确的切开，适合文本分析
全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义
搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
２）支持繁体分词
３）支持自定义词典（支持载入新的词典或者更新自带的词典）
２、原理
jieba分词的算法原理主要有以下三项：
１）基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）
２）采用了动态规划查找最大概率路径，找出基于词频的最大切分组合
３）对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
接下来我们来逐步的讲解这三种方法。
第一条：基于Tier树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图。
首先我们来介绍下Tier树，Tier树中文名叫字典树、前缀树等等。它的用途主要是将字符串整合成树形。首先我们来看一下由 “清华大学” 、“清华” 、“清新” 、“中华” 、“华人” 五个中文词构成的Tier树。树的结构如下
这个树里面每一个方块代表一个节点，其中 ”Root” 表示根节点，不代表任何字符；紫色代表分支节点；绿色代表叶子节点。除根节点外每一个节点都只包含一个字符。从根节点到叶子节点，路径上经过的字符连接起来，构成一个词。而叶子节点内的数字代表该词在字典树中所处的链路（字典中有多少个词就有多少条链路），具有共同前缀的链路称为串。除此之外，还需特别强调 Trie 树的以下几个特点：
１）具有相同前缀的词必须位于同一个串内；例如 “清华”、“清新” 两个词都有“清”这个前缀，那么在 Trie 树上只需构建一个 “清” 节点，“华” 和 “新” 节点共用一个父节点即可，如此两个词便只需三个节点便可存储，这在一定程度上减少了字典的存储
空间。）
２）Trie 树中的词只可共用前缀，不可共用词的其他部分；例如 “中华”、“华人” 这两个词虽然前一个词的后缀是后一个词的前缀，但在树形上必须是独立的两条链路，而不可以通过首尾交接构建这两个词，这也说明 Trie 树仅能依靠公共前缀压缩字典的存
储空间，并不能共享词中的所有相同的字符；当然，这一点也有 “例外” ，对于复合词，可能会出现两词首尾交接的假象，比如 “清华大学” 这个词在上例 Trie 树中看起来似乎是由 “清华” 、“大学” 两词首尾交接而成，但是叶子节点的标识已经明
确说明 Trie 树里面只有 ”清华“ 和 ”清华大学“ 两个词，它们之间共用了前缀，而非由 “清华” 和 ”大学“ 两词首尾交接所得，因此上例 Trie 树中若需要 “大学” 这个词则必须从根节点开始重新构建该词。）
３）Trie 树中任何一个完整的词，都必须是从根节点开始至叶子节点结束，这意味着对一个词进行检索也必须从根节点开始，至叶子节点才算结束。
在 Trie 树中搜索一个字符串，会从根节点出发，沿着某条链路向下逐字比对字符串的每个字符，直到抵达底部的叶子节点才能确认字符串为该词，这种检索方式具有以下两个优点：
１）公共前缀的词都位于同一个串内，查词范围因此被大幅缩小（比如首字不同的字符串，都会被排除）。）
２）Trie 树实质是一个有限状态自动机（(Definite Automata, DFA），这就意味着从 Trie 树的一个节点（状态）转移到另一个节点（状态）的行为完全由状态转移函数控制，而状态转移函数本质上是一种映射，这意味着：逐字搜索 Trie 树时，从一个字符到下
一个字符比对是不需要遍历该节点的所有子节点的。
构建完Tier树之后就可以根据Tier树生成句子的有向无环图（DAG）
如果待切分的字符串有m个字符，考虑每个字符左边和右边的位置，则有m+1个点对应，点的编号从0到m。把候选词看成边，可以根据词典生成一个切分词图。切分词图是一个有向正权重的图。"有意见分歧" 这句话的切分词图如下所示。
在 "有意见分歧" 的切分词图中："有" 这条边的起点是0，终点是1；"有意" 这条边的起点是0，终点是2，以此类推。切分方案就是从源点0到终点5之间的路径，共存在两条切分路径。
路径1：0－1－3－5 对应切分方案S1：有/ 意见/ 分歧/
路径2：0－2－3－5 对应切分方案S2：有意/ 见/ 分歧/
第二条：采用了动态规划查找最大概率路径，找出基于词频的最大切分组合
在jieba分词中的Tier树会标记每个词的频率（等于出现的次数除以总数，当总体样本很大时，可以近似的看做词的概率），在知道每个词出现的频率之后，就可以基于动态规划的方法来寻找概率最大的分词路径。一般的动态规划寻找最优路径都是从左往右，然而在这里是从右往左去寻找最优路径。这主要是因为汉语句子中的重心往往在后面，后面才是句子的主干，因此从右往左计算的正确率往往要高于从左往右的正确率。
第三条：对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
未登录词就是在词典（Tier树）中未记录的词。对于这类词就是采用HMM模型来生成的（因此如果删除了词典，也是可以进行分词的）。那么HMM模型是如何构建的呢？首先定义了四种状态BEMS，B是开始，begin位置；E是end，是结束位置；M是middle，是中间位置；S是singgle，单独成词的位置，没有前，也没有后。也就是说，他采用了状态为(B、E、M、S)这四种状态来标记中文词语，比如北京可以标注为 BE，即 北/B 京/E，表示北是开始位置，京是结束位置；中华民族可以标注为BMME，就是开始、中间、中间、结束。
jieba分词的作者对大量语料进行的训练，得到了finalseg目录下的三个文件（prob_trans.py 、prob_emit.py 、prob_start.py ）
要统计的主要有三个概率表：
prob_trans.py
1）位置转换概率，即B（开头），M（中间)，E(结尾)，S(独立成词）四种状态的转移概率；
{‘B’: {‘E’: 0.8518218565181658, ‘M’: 0.14817814348183422},
‘E’: {‘B’: 0.5544853051164425, ‘S’: 0.44551469488355755},
‘M’: {‘E’: 0.7164487459986911, ‘M’: 0.2835512540013088},
‘ S’: {‘B’: 0.48617017333894563, ‘S’: 0.5138298266610544}}
P(E|B) = 0.851；P(M|B) = 0.149，说明当我们处于一个词的开头时，下一个字是结尾的概率要远高于下一个字是中间字的概率，符合我们的直觉，因为二个字的词比多个字的词更常见。
prob_emit.py
2）位置到单字的发射概率，比如P(“和”|M)表示一个词的中间出现”和”这个字的概率；
prob_start.py
3）词语以某种状态开头的概率，其实只有两种，要么是B，要么是S。这个就是起始向量，就是HMM系统的最初模型状态实际上，BEMS之间的转换有点类似于2元模型，就是2个词之间的转移二元模型考虑一个单词后出现另外一个单词的概率，
是N元模型中的一种。例如：一般来说，”中国”之后出现”北京”的概率大于”中国”之后出现”北海”的概率，也就是：中国北京 比 中国北海出现的概率大些, 更有可能是一个中文词语。但是这里并不能确定作者是不是使用了二元模型。不过jieba分词的
性能这么好，应该不是使用了二元模型。
因此jieba分词的过程：
１）生成Tier树
２）给定句子，使用正则获取连续的中文字符和英文字符，切分成短语列表，构建有向无环图（先生成，然后去词典中匹配寻找最大概率路径）和使用动态规划，得到概率最大的路径。对DAG中那些没有在字典中查到的词，组合成一个新的片段短语，
使用HMM模型进行分词。
３）使用python中的yield语法生成一个词语生成器返回．
３、应用
１）分词
jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。
注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。
２）添加自定义词典
载入词典：
开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径
词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
词频省略时使用自动计算的能保证分出该词的词频。
调整词典：
使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
３）关键词提取
基于TF-IDF算法的关键词抽取：
import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
withWeight 为是否一并返回关键词权重值，默认值为 False
allowPOS 仅包括指定词性的词，默认值为空，即不筛选
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件
基于TextRank算法的关键词抽取：
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用，接口相同，注意默认过滤词性。
jieba.analyse.TextRank() 新建自定义 TextRank 实例
４）词性标注
ieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。
５）并行分词
原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升
基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows
用法：
jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数
jieba.disable_parallel() # 关闭并行分词模式
６）Tokenize：返回词语在原文中的起止位置
jieba.tokenize(text)
7）延迟加载机制
jieba 采用延迟加载，import jieba 和 jieba.Tokenizer() 不会立即触发词典的加载，一旦有必要才开始加载词典构建前缀字典。如果你想手工初始 jieba，也可以手动初始化。
jieba.initialize()