python 爬取王者荣耀高清壁纸

时间：2021-08-22 00:37:55

代码地址如下：
http://www.demodashi.com/demo/13104.html

一、前言

打过王者的童鞋一般都会喜欢里边设计出来的英雄吧，特别想把王者荣耀的英雄的高清图片当成电脑桌面

预览一下桌面吧:

python 爬取王者荣耀高清壁纸

是不是看着这样的桌面也很带感，_ (学会这个技术，你可以爬取其他网站的类似图片，哄妹子专用，O(∩_∩)O哈哈~)

二、程序实现

  • 我们先去找一个靠谱的网站吧，自然而然的网站地址锁定在王者荣耀官网上，正好他给我们提供了壁纸页面 http://pvp.qq.com/web201605/wallpaper.shtml

    python 爬取王者荣耀高清壁纸

    一共14页

  • 构建我们的目标数据URL

    随便多翻几页，用firebug 等调试工具，观察一下我们的请求列表,找到其中特别明显的图片list api

python 爬取王者荣耀高清壁纸

展开以后，特别详细的URL

http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&page=10&iOrder=0&iSortNumClose=1&jsoncallback=jQuery17106927574791770883_1525742053044&iAMSActivityId=51991&everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&=1525742856493

问题简单了就:

 urls = [ "http://apps.game.qq.com/cgi-bin/ams/module/ishow/V1.0/query/workList_inc.cgi?activityId=2735&page=%d&sVerifyCode=ABCD&sDataType=JSON&iListNum=20&totalpage=0&iOrder=0&iSortNumClose=1&jsoncallback=jQuery1710881537174597735    6_1486710433816&iAMSActivityId=51991&_everyRead=true&iTypeId=2&iFlowId=267733&iActId=2735&iModuleId=2735&_=1486710458098" % (p) for p in range(0,14) ]

  • 获取文档的内容：

    这一步就比较简单了，requests 堪称写给人类的http 请求库,可以自己参看他的api 很强大，可以完成，任何手工在浏览器上的任何行为，用得好，你可以省掉很多的事儿，顺路贴一个api 链接吧 (http://www.python-requests.org/en/master/)[http://www.python-requests.org/en/master/]

    def loadUrlContent(url):

    return requests.get(u).text

  • 解析文档内容 :

api 返回情况，大致如下： 是一个jsonp callback的返回

python 爬取王者荣耀高清壁纸

这种情况一般是callback后边对应了一个json对象，我们可以用python的 json 类库来解析：

解析数据千差万别，本文的数据相对简单，所以用了相对简单的处理方式:

## 这种解析数据的代码并不适用于所有的页面

def jsonContent(pageContent):

    json_content = pageContent.split("(")[1].split(")")[0]

    return json.loads(json_content)

解析完成以后的一个json对象属性如下:

python 爬取王者荣耀高清壁纸

查看json 对象内容必备: https://www.json.cn/ 可以看到清晰的对象属性

很明显的，List 属性就是我们想要获取的壁纸对象了，然后，其中 sProdImgNo_1,2,3,4,5,6,7,8 中保存了，url 编码的图片url地址。

本实例为了演示我们只获取其中的 sProdImgNo_5 来做下载，大家可以根据需求做不同的遍历.

写一个简单的对象循环完成我们的子任务吧:

for item in pageJson['List']:

	dealWithItem(item)
  • 处理元素函数 , 下载文件图片：

    观察发现图片url 是url编码好的地址: 我们可以用 urllib 的 unquote 方法转成原文:

    获取的一个图片URL原文是这样的：

    python 爬取王者荣耀高清壁纸

    自行对比下，观测到的图片的真实地址如下:

    python 爬取王者荣耀高清壁纸

    然后，我们只需要简单的把 200 replace 成0 就ok 了。

    下载文件，直接通过requests get url 保存成文件就ok啦。

三、运行效果

  • 最终展示下我们的成果吧:

python 爬取王者荣耀高清壁纸

四、项目文件结构

python 爬取王者荣耀高清壁纸

python 爬取王者荣耀高清壁纸

代码地址如下：
http://www.demodashi.com/demo/13104.html

注：本文著作权归作者，由demo大师代发，拒绝转载，转载需要作者授权

相关文章