用python写的多线程网页爬虫

时间:2018-02-06 08:07:28
【文件属性】:

文件名称:用python写的多线程网页爬虫

文件大小:6KB

文件格式:PY

更新时间:2018-02-06 08:07:28

python 爬虫

用python写了一个下载http://desk.zol.com.cn上面壁纸的爬虫,其中使用了HTMLParser模块方法分析页面,解析出每一页的入口地址,再根据入口地址分析内页的图片地址,解析内页地址使用了多线程,下载图片也是用的多线程,为了测试多线程爬虫的性能,本程序使用了50个线程分析内页图片地址,100个线程下载图片,自动下载,整个过程只需要动几下鼠标,哗啦啦一堆美女图片到手,再也不用手动下载壁纸那么麻烦了。


网友评论

  • 可以执行,一直在准备
  • 比较好的爬虫代码,适合初学者学习
  • 亲测可用,不过网页防爬,所以后期需要改动一些时间值。谢谢楼主分享。