分布式爬虫

【文件属性】：

文件名称：分布式爬虫

文件大小：10.42MB

文件格式：ZIP

更新时间：2022-01-23 18:54:32

分布式 爬虫 python

1.从一个给定的网址中分析其所包含的 URL 并爬取对应的网页，直到爬取完全部 不重复的网页为止。 2.支持分布式爬取，同时记录输出每一个网页的大小。 3.采用多线程结构设计，实现高性能的网络爬虫。