文件名称:用python写的多线程网页爬虫
文件大小:6KB
文件格式:PY
更新时间:2018-02-06 08:07:28
python 爬虫
用python写了一个下载http://desk.zol.com.cn上面壁纸的爬虫,其中使用了HTMLParser模块方法分析页面,解析出每一页的入口地址,再根据入口地址分析内页的图片地址,解析内页地址使用了多线程,下载图片也是用的多线程,为了测试多线程爬虫的性能,本程序使用了50个线程分析内页图片地址,100个线程下载图片,自动下载,整个过程只需要动几下鼠标,哗啦啦一堆美女图片到手,再也不用手动下载壁纸那么麻烦了。