【文件属性】：
文件名称：janome:用纯Python编写的日语形态分析引擎
文件大小：19.43MB
文件格式：ZIP
更新时间：2021-04-30 16:45:41
python japanese-language nlp-library Python
亚诺姆
Janome是用纯Python编写的日语形态分析引擎。
常规文档：
（英文）
（日语）
要求
需要Python 3.6以上版本。
安装
[注意]这将消耗约500 MB的内存用于构建。
(venv) $ python setup.py install
跑步
(env) $ python
>>> from janome.tokenizer import Tokenizer
>>> t = Tokenizer ()
>>> for token in t.tokenize(u 'すもももももももものうち' ):
... print(token)
...
すもも 名詞,一般, * , * , * , * ,すもも,スモモ,スモモ
も 助詞,係助詞, * , * , * , * ,も,モ,モ
もも 名詞,一般, * , * , * , * ,もも,モモ,モモ
も
【文件预览】：
janome-master
----README.rst(3KB)
----janome()
--------fst.py(15KB)
--------tokenizer.py(14KB)
--------tokenfilter.py(7KB)
--------charfilter.py(2KB)
--------progress.py(2KB)
--------__init__.py(91B)
--------analyzer.py(4KB)
--------dic.py(17KB)
--------lattice.py(8KB)
--------version.py(25B)
----.flake8(121B)
----.github()
--------workflows()
----LICENSE.txt(11KB)
----.coverage(52KB)
----requirements-dev.txt(198B)
----NOTICE.txt(4KB)
----.mypy.ini(52B)
----examples()
--------usage.py(2KB)
--------usage_compiled_userdic.py(908B)
--------user_simpledic.csv(264B)
--------user_ipadic.csv(558B)
--------usage_analyzer.py(1022B)
--------usage_with_zipimport.py(1KB)
----benchmark()
--------mini_bench.py(1KB)
--------text_lemon.txt(16KB)
----setup.py(1KB)
----CHANGES.txt(3KB)
----profiler()
--------run_tracemalloc.py(1KB)
--------text_lemon.txt(16KB)
--------run_cprofile.py(607B)
----docs()
--------redpen()
--------img()
--------requirements-docs.txt(49B)
--------requirements.txt(518B)
--------en()
--------api()
--------upload_docs.sh(319B)
--------ja()
----tests()
--------test_tokenizer.py(17KB)
--------test_charfilter.py(2KB)
--------suite.py(1KB)
--------text_lemon.txt(16KB)
--------user_simpledic.csv(264B)
--------test_lattice.py(6KB)
--------user_ipadic.csv(558B)
--------test_fst.py(6KB)
--------text_large.txt(3KB)
--------test_tokenfilter.py(5KB)
--------test_progress.py(2KB)
--------test_analyzer.py(3KB)
--------test_dic.py(12KB)
--------text_large_nonjp.txt(1KB)
----.gitignore(218B)
----release-memo.md(1KB)
----bin()
--------janome(3KB)
--------janome.bat(34B)
----.coveragerc(71B)
----ipadic()
--------build.sh(1KB)
--------Noun.proper.csv.patch(445B)
--------_import_fstdata_method.sh(536B)
--------validate.py(8KB)
--------validate.sh(334B)
--------sysdic.zip(18.73MB)
--------__init__.py.tmpl(4KB)
--------build.py(9KB)