文件名称：HMM中文分词
文件大小：4.5MB
文件格式：ZIP
更新时间：2021-07-09 06:47:24
HMM分词
基于HMM的中文分词代码，虽然基于字标注的中文分词借鉴了词性标注的思想，但是在实践中，多数paper中的方法似乎局限于最大熵模型和条件随机场的应用，所以我常常疑惑字标注中文分词方法为什么不采用别的模型和方法呢？莫非是由于其诞生之初就采用了最大熵模型的缘故。但是，在词性标注中，Citar实现的是TnT中所采用的HMM trigram方法，其所宣称的性能是不亚于最大熵模型等词性标注器的。基于这样的前提，本文就验证一下基于Citar实现的HMM trigram字标注中文分词器的性能虽然基于字标注的中文分词借鉴了词性标注的思想，但是在实践中，多数paper中的方法似乎局限于最大熵模型和条件随机场的应用，所以我常常疑惑字标注中文分词方法为什么不采用别的模型和方法呢？莫非是由于其诞生之初就采用了最大熵模型的缘故。但是，在词性标注中，Citar实现的是TnT中所采用的HMM trigram方法，其所宣称的性能是不亚于最大熵模型等词性标注器的。基于这样的前提，本文就验证一下基于Citar实现的HMM trigram字标注中文分词器的性能
【文件预览】：
HMMwordseg-master
----HMMseg()
--------hmmwordseg.py(9KB)
--------CTB_test_gold.utf8(898KB)
--------CTBtestingset.txt(742KB)
--------output.txt(898KB)
--------CTBtrainingset.txt(8.05MB)
--------CTB_training_words.utf8(574KB)
----README.md(38B)