经常在逛知乎,有时候希望把一些问题的图片集中保存起来。于是就有了这个程序。这是一个非常简单的图片爬虫程序,只能爬取已经刷出来的部分的图片。由于对这一部分内容不太熟悉,所以只是简单说几句然后记录代码,不做过多的讲解。感兴趣的可以直接拿去用。亲测对于知乎等网站是可用的。
上一篇分享了通过url打开图片的方法,目的就是先看看爬取到的图片时什么样,然后再筛选一下保存。
这里用到了requests库来获取页面信息,需要注意的是,获取页面信息的时候需要一个header,用以把程序伪装成浏览器去访问服务器,不然可能会被服务器拒绝。然后用BeautifulSoup来过滤多余信息得到图片地址。得到图片后,根据图片的大小过滤掉一些头像、表情包之类的小图片。最后打开或者保存图片的时候选择就比较多了,OpenCV,skimage,PIL等都可以。
程序如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
|
# -*- coding=utf-8 -*-
import requests as req
from bs4 import BeautifulSoup
from PIL import Image
from io import BytesIO
import os
from skimage import io
url = "https://www.zhihu.com/question/37787176"
headers = { 'User-Agent' : 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Mobile Safari/537.36' }
response = req.get(url,headers = headers)
content = str (response.content)
#print content
soup = BeautifulSoup(content, 'lxml' )
images = soup.find_all( 'img' )
print u "共有%d张图片" % len (images)
if not os.path.exists( "images" ):
os.mkdir( "images" )
for i in range ( len (images)):
img = images[i]
print u "正在处理第%d张图片..." % (i + 1 )
img_src = img.get( 'src' )
if img_src.startswith( "http" ):
## use PIL
'''
print img_src
response = req.get(img_src,headers=headers)
image = Image.open(BytesIO(response.content))
w,h = image.size
print w,h
img_path = "images/" + str(i+1) + ".jpg"
if w>=500 and h>500:
#image.show()
image.save(img_path)
'''
## use OpenCV
import numpy as np
import urllib
import cv2
resp = urllib.urlopen(img_src)
image = np.asarray(bytearray(resp.read()), dtype = "uint8" )
image = cv2.imdecode(image, cv2.IMREAD_COLOR)
w,h = image.shape[: 2 ]
print w,h
img_path = "images/" + str (i + 1 ) + ".jpg"
if w> = 400 and h> 400 :
cv2.imshow( "Image" , image)
cv2.waitKey( 3000 )
##cv2.imwrite(img_path,image)
## use skimage
## image = io.imread(img_src)
## w,h = image.shape[:2]
## print w,h
#io.imshow(image)
#io.show()
## img_path = "images/" + str(i+1) + ".jpg"
## if w>=500 and h>500:
## image.show()
## image.save(img_path)
## io.imsave(img_path,image)
print u "处理完成!"
|
这里给出了多种选择,供参考。
原文链接:http://blog.csdn.net/xingchenbingbuyu/article/details/72231180