文件名称:深入了解用于词性标注的随机机器学习算法-研究论文
文件大小:837KB
文件格式:PDF
更新时间:2024-06-30 07:16:11
Part of Speech Tagging
各种自然语言处理和信息提取任务,例如问答和命名实体识别,都可以受益于有关单词句法类别或词性 (POS) 的精确知识(Church,1988 年;Rabiner,1989 年;Stolz,Tannenbaum , & Carstensen, 1965)。 词性标注器被广泛用于为文本数据中的每个单词分配一个最佳词性,随机方法的准确率高达 96% 到 97% (Jurafsky & Martin, 2000)。 在构建 POS 标注器时,人类需要对设计决策做出一系列选择,其中一些选择会显着影响最终引擎的准确性和其他性能方面。 但是,POS 标记器的文档通常会隐含这些选择和决定。 在本文中,我们概述了其中一些决策,并根据经验确定了它们对词性标注准确性的影响。 获得的见解对于想要设计、实施、修改、微调、集成或负责任地使用 POS 标记器的人来说可能是宝贵的贡献。 我们在将 POS 标记器构建和集成到 AutoMap(一种促进从文本中提取关系的工具)中考虑了本文中呈现的结果,作为独立特征以及其他任务的辅助特征。