前几天刚学了python网络编程，书里没什么实践项目，只好到网上找点东西做。
一直对爬虫很好奇，所以不妨从爬虫先入手吧。
Python版本：3.6
这是我看的教程：Python - Jack -Cui -CSDN
大概学了一下urllib，beautifulsoup这两个库，也看了一些官方文档，学会了这两个库的大概的用法。
urllib用来爬取url的内容，如html文档等。beautifulsoup是用来解析html文档，就像js的DOM操作一样。简单流程如下：
from urllib import request
from bs4 import BeautifulSoup
#urllib操作
url = 'http://blog.csdn.net/'
#编辑header，至少要把User-Agent写上，否则python会自动加上，导致直接被有反爬虫机制的网站识别
#有很多网站会有个Content-Encoding=gzip，进行后面的输出时一定要gzip解压缩，具体怎么解压缩，看看这个：https://www.jianshu.com/p/2c2781462902
headers = {
'Connection' : 'keep-alive',
'Cache-Control' : 'max-age=0',
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36'
}
req = request.Request(url, headers=headers)
response = request.urlopen(req)
html = response.read()
#输出html内容
print(html)
#beautifulsoup操作
soup = BeautifulSoup(html, 'lxml')
#选取所有a标签
a_tags = soup.find_all('a')
#获得a标签中的内容(string属性)
for item in a_tags:
print(item.string)
基础内容差不多就这些，下面来爬一下煎蛋。
先看一下其源代码，发现源html中并没有图片的链接，而是只有一个没有url的img标签和一个有img-hash属性的span标签
查看js文件，寻找jandan_load_img()函数
分析可知，由span的img-hash属性的值和一个固定的hash作为参数，传入一个f_开头的函数，将返回值直接插入html文档中的a的href中，可见，返回值就是图片的真实url。所以思路有了：用python模拟js的函数，先取img-hash的值，再传入一个解密函数（对应f_开头函数），得到图片url。再看一下jandan_load_img()函数，取回url之后，如果文件后缀名为.gif，则在其中加入'thumb180'字符串，这个好做。
下面直接贴个源码吧：
#!/usr/bin/env python3
from bs4 import BeautifulSoup
from urllib import request
import argparse
import hashlib
import base64
import gzip
import time
import os
import io
import re
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36',
'Accept-Encoding':'gzip, deflate',
'Accept-Language':'zh-CN,zh;q=0.9',
}
def md5(src):
m = hashlib.md5()
m.update(src.encode('utf-8'))
return m.hexdigest()
def decode_base64(data):
missing_padding=4-len(data)%4
if missing_padding:
data += '='* missing_padding
return base64.b64decode(data)
def calculate_url(img_hash, constant):
k = 'DECODE'
q = 4
constant = md5(constant)
o = md5(constant[0:16])
#n = md5(constant[16:16])
n = md5(constant[16:32])
l = img_hash[0:q]
c = o+md5(o + l)
img_hash = img_hash[q:]
k = decode_base64(img_hash)
h = []
for g in range(256):
h.append(g)
b = []
for g in range(256):
b.append(ord(c[g % len(c)]))
f = 0
for g in range(256):
f = (f + h[g] + b[g]) % 256
tmp = h[g]
h[g] = h[f]
h[f] = tmp
t = ""
f = 0
p = 0
for g in range(len(k)):
p = (p + 1) % 256
f = (f + h[p]) % 256
tmp = h[p]
h[p] = h[f]
h[f] = tmp
t += chr(k[g] ^ (h[(h[p] + h[f]) % 256]))
t = t[26:]
return t
def get_raw_html(url):
req = request.Request(url=url, headers=headers)
response = request.urlopen(req)
text = response.read()
encoding = response.getheader('Content-Encoding')
if encoding == 'gzip':
buf = io.BytesIO(text)
translated_raw = gzip.GzipFile(fileobj=buf)
text = translated_raw.read()
text = text.decode('utf-8')
return text
def get_soup(html):
soup = BeautifulSoup(html, 'lxml')
return soup
def get_preurl(soup):
preurl = 'http:'+soup.find(class_='previous-comment-page').get('href')
return preurl
def get_hashesAndConstant(soup, html):
hashes = []
for each in soup.find_all(class_='img-hash'):
hashes.append(each.string)
js = re.search(r'<script\ssrc=\"\/\/(cdn.jandan.net\/static\/min\/.*?)\">.*?<\/script>', html)
jsFileURL = 'http://'+js.group(1)
jsFile = get_raw_html(jsFileURL)
target_func = re.search(r'f_\w*?\(e,\"(\w*?)\"\)', jsFile)
constant_hash = target_func.group(1)
return hashes, constant_hash
def download_images(urls):
if not os.path.exists('downloads'):
os.makedirs('downloads')
for url in urls:
filename = ''
file_suffix = re.match(r'.*(\.\w+)', url).group(1)
filename = md5(str(time.time()))+file_suffix
request.urlretrieve(url, 'downloads/'+filename)
time.sleep(3)
def spider(url, page):
#get hashes, constant-hash, previous page's url
html = get_raw_html(url)
soup = get_soup(html)
params = get_hashesAndConstant(soup, html)
hashes = params[0]
constant_hash = params[1]
preurl = get_preurl(soup)
urls = []
index = 1
for each in hashes:
real_url = 'http:'+calculate_url(each, constant_hash)
replace = re.match(r'(\/\/w+\.sinaimg\.cn\/)(\w+)(\/.+\.gif)', real_url)
if replace:
real_url = replace.group(1)+'thumb180'+replace.group(3)
urls.append(real_url)
index += 1
download_images(urls)
page -= 1
if page > 0:
spider(preurl, page)
if __name__ == '__main__':
#user interface
parser = argparse.ArgumentParser(description='download images from Jandan.net')
parser.add_argument('-p', metavar='PAGE', default=1, type=int, help='the number of pages you want to download (default 1)')
args = parser.parse_args()
#start crawling
url = 'http://jandan.net/ooxx/'
spider(url, args.p)
防止被识别，采取了以下措施：
运行的时候可以加个-p参数，是要下载的页数，默认是1。
每爬一张图片暂停3s，为了防止被服务器识别，你们嫌慢的话可以改短一点。
下载的图片保存在当前目录的downloads文件夹下（没有则创建）。
ps:用Windows的同学请注意！这里说的当前目录不是指这个python文件的路径，而是cmd中的当前路径！我一开始是在Linux上做的，后来在Windows测试的时候一直找不到downloads文件夹，把源代码检查了好久，最后才发现是路径问题。。
pps:此项目也可以在我的Github中找到(更有.exe文件等你来发现~滑稽)。
参考：