1.分词(只针对中文,英文等西方字母语言已经用空格做好分词了):将文章按词组分开
2.词法分析:对于英文,有词头、词根、词尾的拆分,名词、动词、形容词、副词、介词的定性,多种词意的选择。比如DIAMOND,有菱形、棒球场、钻石3个含义,要根据应用选择正确的意思。
3.语法分析:通过语法树或其他算法,分析主语、谓语、宾语、定语、状语、补语等句子元素。
4.语义分析:通过选择词的正确含义,在正确句法的指导下,将句子的正确含义表达出来。方法主要有语义文法、格文法。
自然语言处理的应用方向主要有:
1.文本分类和聚类:搜索引擎
2.信息检索和过滤,网警
3.拼音汉字转换系统
4.机器翻译