文件名称：cpp-YouTokenToMe高性能无监督文本标记化tokenization工具
文件大小：83KB
文件格式：ZIP
更新时间：2022-09-04 22:27:10
C/C 开发-机器学习
YouTokenToMe：高性能无监督文本标记化(tokenization)工具
【文件预览】：
YouTokenToMe-master
----setup.py(2KB)
----requirements.txt(29B)
----MANIFEST.in(276B)
----LICENSE(1KB)
----README.md(8KB)
----tests()
--------Dockerfile(659B)
--------speed_test.py(7KB)
--------README.md(793B)
----benchmark.md(3KB)
----youtokentome()
--------__init__.py(68B)
--------cpp()
--------yttm_cli.py(3KB)
--------youtokentome.py(2KB)