看到某公众号的一篇非常容易上手的爬虫实例,之前只是模拟登陆过,还没有爬取过数据或者文件,一直没怎么接触过json这个东西,发现也没有那么难上手,233333,总之是一次非常愉快的爬虫经历,简单又简洁的代码,就可以获取到所需要的信息。
urllib库的用法:
urllib.request.urlopen() #打开某网址 urllib.request.urlrestrive(url,save_file_name) #将远程数据下载到本地 urlretrieve(url, filename=None, reporthook=None, data=None) #详细:reporthook,调用函数返回下载进度 #data,post到服务器的数据,该方法返回一个包含两个元素的(filename, headers)元组,filename 表示保存到本地的路径,header 表示服务器的响应头。
reporthook的用法:
def callback(blocknum,blocksize,totalsize) //定义回传的函数
函数会传入三个参数:
- 到现在传输的块数 blocknum.
- 每一块的大小 blocksize.
- 文件总大小 totalsize.
json的用法:
json.loads() #从json中提取数据, 将str类型的数据转成dict
解决了一些小问题,完整代码就写出来了~
#-*- coding:utf-8 -*- import urllib.request import json respond = urllib.request.urlopen("http://pvp.qq.com/web201605/js/herolist.json") json_hero = json.loads(respond.read().decode('utf-8')) //read()读取网址并解码 hero_num = len(json_hero) def callback(blocknum,blocksize,totalsize): percent = 100.0*blocknum*blocksize/totalsize if percent > 100: percent = 100 print("percent:", percent) for i in range(hero_num): skin_names = json_hero[i]['skin_name'].split('|') hero_name = json_hero[i]['ename'] skin_num = len(skin_names) print(hero_name, skin_names, skin_num) for i in range(hero_num): //下载头像 save_file_name = 'D:\wangzhetouxiang\\' + str(json_hero[i]['ename']) + '.jpg' url = ('http://game.gtimg.cn/images/yxzj/img201606/heroimg/' + str(json_hero[i]['ename']) + '/' + str(json_hero[i]['ename']) + '.jpg') urllib.request.urlretrieve(url, save_file_name, callback)
for i in range(hero_num): //下载皮肤 skin_names = hero_json[i]['skin_name'].split('|') for cnt in range(len(skin_names)): save_file_name = ('D:\wangzhe\\' + str(hero_json[i]['ename']) + '-' + hero_json[i]['cname'] + '-' + skin_names[cnt] + '.jpg') skin_url = ('http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/' + str(hero_json[i]['ename']) + '/' + str(hero_json[i]['ename']) + '-bigskin-' + str(cnt+1) + '.jpg') urllib.request.urlretrieve(skin_url, save_file_name)