结巴分词含代码可运行

时间:2021-06-28 16:31:19
【文件属性】:

文件名称:结巴分词含代码可运行

文件大小:4.45MB

文件格式:RAR

更新时间:2021-06-28 16:31:19

分类 语义分析

在文本数据量非常大的时候,为了提高分词效率,开启并行分词就很有必要了。jieba支持并行分词,基于python自带的multiprocessing模块


【文件预览】:
jieba
----__init__.pyc(8KB)
----analyse()
--------idf.txt(5.91MB)
--------__init__.py(1KB)
----dict.txt(5.05MB)
----__init__.py(6KB)
----posseg()
--------prob_trans.py(242KB)
--------char_state_tab.py(1.55MB)
--------prob_emit.py(3.89MB)
--------__init__.py(4KB)
--------viterbi.py(1KB)
--------prob_start.py(7KB)
----finalseg()
--------prob_trans.py(242B)
--------__init__.pyc(3KB)
--------prob_emit.py(1.29MB)
--------__init__.py(2KB)
--------prob_start.py(91B)

网友评论