文件名称:中文分词工具包
文件大小:11.26MB
文件格式:RAR
更新时间:2022-04-14 07:06:47
中文分词
(1)精确模式:试图将句子最精确地切开,适合文本分析; (2)全模式:把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义; (3)搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
【文件预览】:
jieba-master
----.gitignore(2KB)
----README.md(29KB)
----test()
--------extract_tags.py(528B)
--------test_pos_no_hmm.py(5KB)
--------test.txt(118B)
--------test_userdict.py(1KB)
--------parallel()
--------test.py(5KB)
--------test_cut_for_search.py(5KB)
--------extract_tags_stop_words.py(658B)
--------test_bug.py(199B)
--------extract_tags_with_weight.py(895B)
--------test_tokenize_no_hmm.py(5KB)
--------test_whoosh_file.py(1KB)
--------test_change_dictpath.py(873B)
--------jiebacmd.py(461B)
--------test_file.py(383B)
--------test_multithread.py(830B)
--------test_tokenize.py(5KB)
--------test_cutall.py(5KB)
--------foobar.txt(11B)
--------test_whoosh_file_read.py(826B)
--------test_pos_file.py(403B)
--------test_pos.py(5KB)
--------lyric.txt(721B)
--------userdict.txt(151B)
--------test_no_hmm.py(5KB)
--------test_lock.py(1KB)
--------extract_topic.py(1KB)
--------demo.py(3KB)
--------test_whoosh.py(2KB)
--------jieba_test.py(9KB)
--------extract_tags_idfpath.py(594B)
----Changelog(7KB)
----jieba()
--------dict.txt(4.84MB)
--------finalseg()
--------__pycache__()
--------__init__.py(19KB)
--------_compat.py(1KB)
--------__main__.py(2KB)
--------posseg()
--------analyse()
----LICENSE(1KB)
----.gitattributes(483B)
----extra_dict()
--------idf.txt.big(3.9MB)
--------dict.txt.small(1.48MB)
--------dict.txt.big(8.19MB)
--------stop_words.txt(222B)
----MANIFEST.in(32B)
----setup.py(2KB)