2020年9月9日 17:29 220 人阅读 0 条评论 编辑
使用python3做爬虫的时候，一些网站为了防爬虫会在请求头设置一些检查机制，因此我们就需要添加请求头，伪装成浏览器正常访问。
字段情况，详见下表：
| 请求头字段 | 说明 | 响应头字段 |
| Accept | 告知服务器发送何种媒体类型 | Content-Type |
| Accept-Language | 告知服务器发送何种语言 | Content-Language |
| Accept-Charset | 告知服务器发送何种字符集 | Content-Type |
| Accept-Encoding | 告知服务器采用何种压缩方式 | Content-Encoding |
"Accept-Encoding"：是浏览器发给服务器,声明浏览器支持的编码类型。一般有gzip,deflate,br 等等。
假设客户端发送以下信息：
Accept-Encoding:gzip,deflate,br表示支持采用 gzip、deflate 或 br 压缩过的资源
而python3中的 requests只有response.text 和 response.content
-
response.content #字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩 类型：bytes
-
reponse.text #字符串方式的响应体，会自动根据响应头部的字符编码进行解码。类型：str
但是这里requests默认不支持解码br
什么是br
br 指的是 Brotli，是一种全新的数据格式，无损压缩，压缩比极高（比gzip高的）
Brotli具体介绍：https://www.cnblogs.com/Leo_wl/p/9170390.html
Brotli优势：https://www.cnblogs.com/upyun/p/7871959.html
解决方法
第一种：从Accept-Encoding中去除编码类型：br
Accept-Encoding = "gzip, deflate"第二种：使用编码类型：br进行页面解析
安装
pip install Brotli使用：
import brotli
import requests
headers = {}
headers[\'Accept\'] = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
headers[\'Accept-Encoding\'] = "gzip, deflate, br"
headers[\'Host\'] = "book.douban.com"
headers[\'Referer\'] = "book.douban.com"
headers[\'Sec-Fetch-Dest\'] = "document"
headers[\'Sec-Fetch-Mode\'] = "navigate"
headers[\'Upgrade-Insecure-Requests\'] = "1"
s=requests.Session()
url="https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4"
try:
response = s.get(url, headers=headers)
except:
return ""
if response.status_code == 200:
print(response.headers)
if response.headers.get(\'Content-Encoding\') == \'br\':
data = brotli.decompress(response.content)
return data.decode(\'utf-8\')
else:
return response.text
return ""注意：python3.8和brotli=1.0.9运行时会提示错误：
brotli.error: BrotliDecompress failed