文件名称：论文研究-基于URL模式集的主题爬虫.pdf
文件大小：1.71MB
文件格式：PDF
更新时间：2022-08-11 15:53:04
主题爬虫,URL模式,URL前缀树,模式关系图,URL模式重要性
为提高主题爬虫的性能，依据站点信息组织的特点和URL的特征，提出一种基于URL模式集的主题爬虫。爬虫分两个阶段，在实验爬虫阶段，采集站点样本数据，采用基于URL前缀树的模式构建算法构建URL模式，形成模式关系图，并利用HITS算法分析该模式关系图，计算出各模式的重要度；在聚焦爬虫阶段，无须预先下载页面，即可利用生成的URL模式判断页面是否主题相关和能否指导爬虫深入抓取，并根据URL模式的重要度预测待抓取链接优先级。实验表明，该爬虫相比现有的主题爬虫能快速引导爬虫抓取主题相关页面，保证爬虫的查准率和查全率，有效提高爬虫抓取效率。