文件名称:word_splitters:Python示例
文件大小:3KB
文件格式:ZIP
更新时间:2024-05-22 10:26:06
Python
分词器 一些粗略的Python示例代码,用于将文本分成各种类型的单词。 word_splitter.py :沿空格将文本文件拆分为“单词”。 extract_and_pad_words.py :将文本文件拆分为字母数字单词,并添加空格填充。 find_words_and_spaces.py :将文本文件拆分为字母词,但保留相邻的空格,因为它出现在原始空格中。
【文件预览】:
word_splitters-master
----.gitignore(34B)
----extract_and_pad_words.py(705B)
----README.md(400B)
----text.txt(723B)
----find_words_and_spaces.py(1KB)
----word_splitter.py(219B)