论文研究-基于音节标注的藏文自动分词研究.pdf

【文件属性】：
文件名称：论文研究-基于音节标注的藏文自动分词研究.pdf
文件大小：898KB
文件格式：PDF
更新时间：2022-08-11 13:56:07
藏文,分词,序列标注,最大熵,条件随机场,最大间隔Markov网络模型 分词是藏文信息处理的基础性关键问题，是把连续的藏文音节序列组合成词序列的过程。针对藏文分词中的特殊问题，把藏文分词问题看成判断音节在词中的位置过程，分别实现了基于最大熵、条件随机场、最大间隔Markov网络模型等模型下的分词系统，并在同等条件下进行了实验对比。实验结果表明，在当前四字位的标注集下，基于条件随机场的藏文分词系统取得了最好的分词结果，同时其他序列标注模型也取得了较好的效果，说明基于音节标注的分词方法可以较为有效地处理藏文分词问题。