爬虫实战2：爬头条网美图--Ajax图片加载处理

时间：2021-02-14 19:31:30

完整代码经测试可成功运行，目的是抓取头条网输入街拍后的图片，涉及的知识点如下

1. md5加密使用方法
方法1：不创建实例对象，直接使用

>>> from hashlib import md5

>>> md5('hong'.encode('utf-8')).hexdigest()

'88163c52fdb7520d2da5295dcb52bff0'

方法2：创建实例对象的方法

>>> a=md5()

>>> a.update('hong'.encode('utf-8')  # update函数生成摘要信息

>>> a.hexdigest()    # hexdigest函数输出16进制的32位摘要信息

'88163c52fdb7520d2da5295dcb52bff0'
每一个数据的摘要信息都是独一无二的，用于安全加密
 
注意：
方法2中如果重复执行接着执行mymd5.update('hong'.encode('utf-8'))和mymd5.hexdegest()，发现2次输出值是不一样的。按理所相同的字符串数据结果应该一样，为什么呢？
经测试发现，两次执行md5.update()函数，会把字符串进行拼接 ，第二次相当于执行mymd5.update('honghong'.encode('utf-8'))，为了消除这种错误，需要 每次使用update之前~都要重新定义：mymd5=hashilib.md5()
 
 
 
 

下面代码中有几个问题点不明白

1. 查看头信息，参数表和代码中params有些不同，不知道代码中的参数是怎么来的

offset: 40

format: json

keyword: 街拍

autoload: true

count: 20

cur_tab: 1

from: search_tab

2. 第51行代码不明白

new_image_url = local_image_url.replace('list','large')

说明：经验证，//p3.pstatp.com/list/pgc-image/153077042661778985015b6这个地址是返回一个图片的缩小版，如果把地址中的list改为large就能变成大图。

下面的代码有个缺陷： 每组图都只能爬取前四张图，暂时不知道怎么解决

完整代码如下

 import os

 import requests

 from urllib.parse import urlencode

 from hashlib import md5

 from multiprocessing.pool import Pool

 GROUP_START = 1

 GROUP_END = 5

 def get_page(offset):

     params = {

         'offset': offset,

         'format': 'json',

         'keyword': '街拍',

         'autoload': 'true',

         'count': '',

         'cur_tab': '',

         'from': 'gallery',

     }

     url = 'https://www.toutiao.com/search_content/?' + urlencode(params)  #这里的url要写头信息里面的Request URL

     try:

         response = requests.get(url)

         if response.status_code == 200:

             return response.json()   #调用json方法，将结果转为json格式

     except requests.ConnectionError:

         return None

 def get_images(json):

     data = json.get('data')   #参数'data'字段来自于网页分析 XHR中的preview选项卡，里面有data字段

     if data:

         for item in data:

             # print(item)

             image_list = item.get('image_list')

             title = item.get('title')

             # print(image_list)

             if image_list:

                 for image in image_list:

                     yield {

                         'image': image.get('url'),

                         'title': title

                     }

 def save_image(item):

     if not os.path.exists(item.get('title')):

         os.mkdir(item.get('title'))

     try:

         local_image_url = item.get('image')

         new_image_url = local_image_url.replace('list','large')

         response = requests.get('http:' + new_image_url)

         if response.status_code == 200:

             file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')

             if not os.path.exists(file_path):

                 with open(file_path, 'wb')as f:

                     f.write(response.content)

             else:

                 print('Already Downloaded', file_path)

     except requests.ConnectionError:

         print('Failed to save image')

 def main(offset):

     json = get_page(offset)

     for item in get_images(json):

         print(item)

         save_image(item)

 if __name__ == '__main__':

     pool = Pool()

     groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])

     pool.map(main, groups)

     pool.close()

     pool.join()

相关文章