paip.提升中文分词准确度---新词识别

时间:2021-12-11 15:27:59

paip.提升中文分词准确度---新词识别





近来,中文每年大概出现800---1仟个新的词..

60%的分词错误是由新词导致的





作者Attilax  艾龙,  EMAIL:1466519819@qq.com 

来源:attilax的专栏

地址:http://blog.csdn.net/attilax 





新词的概念 

 目前,在中文分词领域出现了新词(New Words)和未登录词(Unknown Words)两种概念。很多研究者并没有对未登录词和新词加以区别,认为它们是一样的[12][13]。通常,未登录词被定义为未在词典中出现的词[3][4][5]。(Chen,1997)通过对一个规模为300万词汇的语料统计,将未登录词分为五种类别,包括 

 (a) 缩略词(abbreviation),如“中油”、“日韩”; 

 (b) 专有名词(Proper names),主要包括人名、地名、机构名。如“张三”、“北京”、“微软”;

  (c) 派生词(derived words),主要指含有后缀词素的词,如“电脑化”; 

 (d) 复合词(compounds),由动词或名词等组合而成,如“获允”、“搜寻法”、“电脑桌”; 

 (e) 数字类复合词(numeric type compounds),即组成成分中含有数字,包括时间、日期、电话号码、地址、数字等,如“2005年”、“三千”。





新词的识别方法.

1.基与规则::::通过构词,前缀,后缀(词边界),词形,编写规则

....化,....族

大概准确录90%

2.基与统计方法.

俩个/三个 相邻单字 的频率....大概准确录88%





3.基与搜索引擎

这个准确度非常高.. 几乎95%了...

bg str feodg se hetu,auto pop ...yaos chwlai ,shg word...beir, bsd ..









4.单字构词能力以及频率.

词素级的判断...





5.基与sns。。类似于智能+人工

这个也能是准确度非常高,近乎100% ...因为是人工反馈。。。









 





/////////垃圾串过滤

能预先界定垃圾串词库..到时过滤..

垃圾串词库的建立也能使用搜索引擎增强判断..

















参考:

中文新词识别技术综述_免费下载_百度文库.htm

【论文】Internet中的新词识别_百度文库.htm

【论文】基于词内部模式的新词识别_百度文库.htm

关于新词识别的 - 豆丁网.htm  (20个后缀)

【论文】不限领域的中文新词的识别研究_百度文库.htm

新词发现综述_免费下载_百度文库.htm