自然语言处理 (NLP) 的 5 个步骤-NLP Step

时间:2024-10-11 07:10:07
alt

最佳的自然语言处理(NLP)解决方案遵循五个步骤来分析书面和口头语言。理解这些步骤,以便在你的文本和语音应用中有效地使用NLP。

  1. 词汇分析

词汇表描述了构成语言的可理解词汇。词汇分析将语言解密并分割成单元——或词汇素——如段落、句子、短语和单词。NLP算法将单词分类为词性(POS)并将词汇素分割成词素——你不能再进一步分割的有意义的语言单元。有2种类型的词素:

  • *词素独立地作为单词起作用(如“cow”和“house”)。
  • 黏着词素构成更大的单词。单词“unimaginable”包含词素“un-”(一个表示否定语境的黏着词素)、“imagine”(整个单词的*词素根)和“-able”(一个表示词根能力的黏着词素)。

例如,在对上一段进行词汇分析时,分析将第一句话隔离并分割成词汇素短语,如“the understandable vocabulary that makes up a language”。此分析进一步将短语分割成单词词汇素,如“vocabulary”和“language”,将两者分类为名词词性。然后,分析得出*词素,如“words”、“vocabulary”和“understand-”,以及黏着词素,如“-able”。

  1. 句法分析

句法描述了语言的单词和短语如何排列形成句子。句法分析检查单词排列是否符合语法。

例如,句子“Dave wrote the paper”通过了句法分析检查,因为它在语法上是正确的。相反,句法分析将像“Dave do jumps”这样的句子分类为句法错误。

  1. 语义分析

语义学描述了单词、短语、句子和段落的含义。语义分析试图理解单个语言选择的字面意义,而不是句法正确性。然而,语义分析不会检查选择前后的语言数据以澄清其含义。

例如,“Manhattan calls out to Dave”通过了句法分析,因为它是一个语法正确的句子。然而,它未能通过语义分析。因为曼哈顿是一个地方(不能字面上叫人),句子的意思没有意义。

  1. 话语整合

话语描述了两个或更多人之间的交流。话语整合分析之前的单词和句子以理解模糊语言的含义。

例如,如果一句话读作“Manhattan speaks to all its people”,紧接着的下一句话读作“It calls out to Dave”,话语整合检查第一句话的上下文以理解后一句话中的“It”指的是曼哈顿。

  1. 语用分析

语用学描述了语言的预期含义。语用分析试图推导出语言的预期——而不是字面——含义。

例如,语用分析可以揭示“Manhattan speaks to all its people”的预期含义。像神经网络这样的方法评估上下文以理解这句话不是字面上的,大多数人不会这样理解。语用分析推断这句话是人们与地方情感联系的隐喻。