分布式多主题网络爬虫系统的研究与实现.pdf

【文件属性】：

文件名称：分布式多主题网络爬虫系统的研究与实现.pdf

文件大小：507KB

文件格式：PDF

更新时间：2014-06-21 06:45:45

网络爬虫；多主题；分布式

提出一种基于数据抽取器的分布式爬虫结构。该架构采用基于分类标注的多主题策略，解决同一爬虫系统内多主题自适应兼容的问题。介绍二级加权任务分割算法，解决基于目标导向、负载均衡的URL分配问题，增强系统可扩展性。给出基于Trie树的URL存储策略的改进方法，可以高效地支持URL查询、插入和莆复性检测。