文件名称：tinysegmenter:为日语指定的令牌生成器
文件大小：409KB
文件格式：ZIP
更新时间：2024-05-17 08:19:31
Python
TinySegmenter TinySegmenter-超级紧凑的日语令牌生成器最初是由（c）2008 Taku Kudo在新的BSD许可的条款下为javascript创建的。 有关详细信息，请参见 python2.x的tinysegmenter由Masato Hagiwara编写。 有关他的信息，请参见 安川达郎（Tatsuro Yasukawa）修改了这个tinysegmenter，用于python3.x和python2.x。 另外，由于@ chezou，@ cocoatomo和@甲烷，此tinysegmenter的修改速度更快。 查看有关信息 安装 pip install tinysegmenter3 用法 import tinysegmenter statement = '私はpython大好きStanding Engineerです．' tokenized_statement
【文件预览】：
tinysegmenter-master
----setup.py(1KB)
----.gitignore(32B)
----requirements.txt(25B)
----LICENSE.md(1KB)
----dist()
--------tinysegmenter-0.0.2.tar.gz(10KB)
--------tinysegmenter3-0.0.3.tar.gz(10KB)
--------tinysegmenter3-0.1.0.tar.gz(11KB)
--------tinysegmenter3-0.0.2.tar.gz(10KB)
----README.md(1KB)
----circle.yml(77B)
----tests()
--------timemachineu8j.txt(243KB)
--------timemachineu8j.tokenized.txt(400KB)
--------test_tinysegmenter.py(1KB)
----tinysegmenter()
--------__init__.py(44B)
--------tinysegmenter.py(21KB)
----runtests.py(226KB)
----runtests.sh(50B)
----MANIFEST(109B)