关键词抽取:pagerank,textrank

时间:2021-10-12 17:29:31

摘抄自微信公众号:AI学习与实践

TextRank,它利用图模型来提取文章中的关键词。由 Google 著名的网页排序算法 PageRank 改编而来的算法。

PageRank

PageRank 是一种通过网页之间的超链接来计算网页重要性的技术,以 Google 创办人 Larry Page 之姓来命名,Google 用它来体现网页的相关性和重要性。

PageRank 通过网络浩瀚的超链接关系来确定一个页面的等级,把从 A 页面到 B 页面的链接解释为 A 页面给 B 页面投票,Google 根据 A 页面(甚至链接到 A的页面)的 等级和投票 目标的等级来决定 B 的等级。

简单的说,一个高等级的页面可以使其他低等级页面的等级提升。

整个互联网可以看作是一张有向图图,网页是图中的节点,网页之间的链接就是图中的边。如果网页 A 存在到网页 B 的链接,那么就有一条从网页 A 指向网页 B 的有向边。

构造完图后,使用下面的公式来计算网页 i的重要性(PR值): 

 关键词抽取:pagerank,textrank

 

TextRank

TextRank 公式在 PageRank 公式的基础上,为图中的边引入了权值的概念:

关键词抽取:pagerank,textrank

用 TextRank 算法计算图中各节点的得分时,同样需要给图中的节点指定任意的初值,通常都设为1。然后递归计算直到收敛,即图中任意一点的误差率小于给定的极限值时就可以达到收敛,一般该极限值取 0.0001。

使用 TextRank 提取关键词

现在是要提取关键词,如果把单词视作图中的节点(即把单词看成句子),那么所有边的权值都为 0(两个单词没有相似性),所以通常简单地把所有的权值都设为 1。

此时算法退化为 PageRank,因而把关键字提取算法称为 PageRank 也不为过。

我们把文本拆分为单词,过滤掉停用词(可选),并只保留指定词性的单词(可选),就得到了单词的集合。假设一段文本依次由下面的单词组成: 

 关键词抽取:pagerank,textrank

现在将每个单词作为图中的一个节点,同一个窗口中的任意两个单词对应的节点之间存在着一条边。然后利用投票的原理,将边看成是单词之间的互相投票,经过不断迭代,每个单词的得票数都会趋于稳定。

一个单词的得票数越多,就认为这个单词越重要。

使用 TextRank 提取摘要

自动摘要,就是从文章中自动抽取关键句。人类对关键句的理解通常是能够概括文章中心的句子,而机器只能模拟人类的理解,即拟定一个权重的评分标准,给每个句子打分,之后给出排名靠前的几个句子。

基于 TextRank 的自动文摘属于自动摘录,通过选取文本中重要度较高的句子形成文摘。

依然使用 TextRank 公式: 

关键词抽取:pagerank,textrank