Python3常用的爬虫第三方插件有requests，urllib.request等。这里主要介绍使用requests抓取网页上的图片，该方法只针对静态网页，不考虑js动态加载的网页。
预备知识：
- requests模块的基本了解，包括get，post等方法和status_code，history等属性。
- 熟练使用BeautifulSoup（美丽汤）进行文本定位、筛选，常用方法有find_all，select等。
- 基本的文件流操作，如文件夹是否存在的判断，新建文件夹等。
- requests的write下载图片操作
操作开始：
这里以笔趣阁（http://www.biquzi.com/）为例，抓取网页上的小说封面。
抓图的基本流程就是：
requests发送网页请求 --> 使用get获取response --> 利用BeautifulSoup对response进行文本筛选，抓取图片链接 ---> 新建一个图片存放的文件夹 ---> urlretrieve下载图片到文件夹
按F12分析网页结构
图片定位到的文本信息类似于上图红框所示：
<img src="http://www.biquzi.com/files/article/image/0/703/703s.jpg" alt="斗战狂潮" width="120" height="150"> == $0
我们只关心图片链接信息（标红部分），其他的信息都要过滤掉。
下面上具体代码
import requests
import urllib.request
from bs4 import BeautifulSoup
import os
import time
url = 'http://www.biquzi.com/'
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers) # 使用headers避免访问受限
soup = BeautifulSoup(response.content, 'html.parser')
items = soup.find_all('img')
folder_path = './photo/'
if os.path.exists(folder_path) == False: # 判断文件夹是否已经存在
os.makedirs(folder_path) # 创建文件夹
for index,item in enumerate(items):
if item:
html = requests.get(item.get('src')) # get函数获取图片链接地址，requests发送访问请求
img_name = folder_path + str(index + 1) +'.png'
with open(img_name, 'wb') as file: # 以byte形式将图片数据写入
file.write(html.content)
file.flush()
file.close() # 关闭文件
print('第%d张图片下载完成' %(index+1))
time.sleep(1) # 自定义延时
print('抓取完成')
最后运行成功的结果
