【文件属性】:
文件名称:ngram_tool:golang 的 ngram_tool
文件大小:2KB
文件格式:ZIP
更新时间:2021-07-01 14:45:07
Go
从存储在 json 文件中的文本数据中使用 N-gram 分析文本的工具
json文件规范
json 文件的描述示例是一对 id 和 text,如 input/test.json 所示。
下面是input/test.json的内容
[
{"id":1,"text":"つれづれなるままに"},
{"id":2,"text":"ひぐらしすずりにむかいて"},
{"id":3,"text":"こころにうつりゆくよしなしごとを"},
{"id":4,"text":"そこはかとなくかきつくれば"},
{"id":5,"text":"あやしうこそものぐるおしけれ"}
]
实现的功能
创建 ngram 的函数
通过解析json文件提取文本数据
使用 Package flag指定要在运行时导入的文件
使用 ngram 将键映射到结构体并对每个文本数据单元进行评分
【文件预览】:
ngram_tool-master
----input()
--------test.json(315B)
----ngram.go(2KB)
----.gitignore(21B)
----README.md(1009B)