文件名称:基于双数组Trie_树中文分词研究
文件大小:253KB
文件格式:PDF
更新时间:2015-01-10 03:12:20
double array tire 算法
对双数纽Trie 树(Double-Array Trie)分词算法进行了优化:在采用Trie 树构造 双数纽Trie 树的过程中,优先处理分支节点多的结点,以减少冲突;构造一个空状态序列; 将冲突的结点放入Hash表中,不需要重新分配结点.然后,利用这些方法构造了一个中文 分词系统,并与其他几种分词方法进行对比,结果表明,优化后的双数纽Trie 树插入速度和 空间利用率得到了很大提高,且分词查询效率也得到了提高.