文件名称：tokenizer:在 Go 中实现的自然语言分词器
文件大小：6KB
文件格式：ZIP
更新时间：2024-07-23 22:53:43
Go
概述 在 Go 中实现各种自然语言标记器。 标记器： TreeBankWordTokenizer BagOfWordsTokenizer 文档： : 执照 。
【文件预览】：
tokenizer-master
----bag_of_words_tokenizer_test.go(1KB)
----treebank_tokenizer_test.go(1KB)
----treebank_tokenizer.go(3KB)
----tokenizer.go(80B)
----LICENSE(1KB)
----.gitignore(391B)
----README.md(277B)
----fixtures()
--------stop_words.txt(622B)
----bag_of_words_tokenizer.go(3KB)