Requests模块
1、模块说明
Requests 是使用 Apache2 Licensed 许可证的 HTTP 库。用 Python 编写,真正的为人类着想。
Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能,但是它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作,甚至包括各种方法覆盖,来完成最简单的任务。
在Python的世界里,事情不应该这么麻烦。
Requests 使用的是 urllib3,因此继承了它的所有特性。Requests 支持 HTTP 连接保持和连接池,支持使用 cookie 保持会话,支持文件上传,支持自动确定响应内容的编码,支持国际化的 URL 和 POST 数据自动编码。现代、国际化、人性化。
(以上转自Requests官方文档)
2、模块安装
pip install requests
尝试在IDE中import requests,如果没有报错,那么安装成功。
3、所有请求类型
#HTTP请求类型
#get类型
r = requests.get('http://127.0.0.1:8000/timeline.json')
#post类型
r = requests.post("http://127.0.0.1:8000/post")
#put类型
r = requests.put("http://127.0.0.1:8000/put")
#delete类型
r = requests.delete("http://127.0.0.1:8000/delete")
#head类型
r = requests.head("http://127.0.0.1:8000/head")
#options类型
r = requests.options("http://127.0.0.1:8000/get")
4、Get请求
注:get请求中只包含请求头信息,没有请求体
from django.views import Viewweb端.py
class Index(View):
def get(self, request):
auth_key = request.META.get('HTTP_AUTH_KEY')
print(auth_key)
return HttpResponse('requests模块测试')
# HTTP_AUTH_KEY'(76981496) = {str}'299095'
web端.py
发送请求:
import requests
response = requests.get('http://127.0.0.1:8000/index/') #发送get请求
print(response.text) #字符串类型
print(response.content) #bytes类型
# requests模块测试
# b'requests\xe6\xa8\xa1\xe5\x9d\x97\xe6\xb5\x8b\xe8\xaf\x95'
传递参数:
import requests
payload = {'keyword': '299095cc', 'salecityid': '2'}
response = requests.get('http://127.0.0.1:8000/index/',params=payload) # 发送get请求,等同于下面访问路径
print(response.url) # 打印请求路径
# http://127.0.0.1:8000/index/?salecityid=2&keyword=299095cc
传递请求头:
import requests
auth_key = "299095cc"
response = requests.get('http://127.0.0.1:8000/index/',
headers={'auth-key':auth_key}) # headers里的key值不能包含_
添加浏览器类型:
#定制请求头
url = 'http://m.ctrip.com'
headers = {'User-Agent' : 'Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 4 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Mobile Safari/535.19'}
r = requests.post(url, headers=headers)
print r.request.headers
网页编码:
#获取/修改网页编码
r = requests.get('https://github.com/timeline.json')
print r.encoding
r.encoding = 'utf-8'
json数据转换:
#json处理
r = requests.get('https://github.com/timeline.json')
print r.json() #需要先import json
状态响应:
#响应状态码
r = requests.get('http://m.ctrip.com')
print r.status_code
#响应头
r = requests.get('http://m.ctrip.com')
print r.headers
print r.headers['Content-Type']
print r.headers.get('content-type') #访问响应头部分内容的两种方式
获取和携带cookie:
# 获取
url = 'http://example.com/some/cookie/setting/url'
r = requests.get(url)
r.cookies['example_cookie_name'] #读取cookies
# 携带 url = 'http://m.ctrip.com/cookies'
cookies = dict(cookies_are='working')
r = requests.get(url, cookies=cookies) #发送cookies
超时时间:
#设置超时时间
r = requests.get('http://m.ctrip.com', timeout=(5,1)) # 前面是连接时间,后面是数据传送时间
访问代理:
#设置访问代理
proxies = {
"http": "http://10.10.10.10:8888",
"https": "http://10.10.10.100:4444",
}
r = requests.get('http://m.ctrip.com', proxies=proxies)
存储图片:
import requests
from bs4 import BeautifulSoup
r = requests.get("http://www.pythonscraping.com")
bs = BeautifulSoup(r.text,'html.parser')
image = bs.find("a", {"id": "logo"}).find("img")["src"]
ir = requests.get(image)
if ir.status_code == 200:
open('logo.jpg', 'wb').write(ir.content)
5、Post请求
注:post请求包含请求头,请求体,下面只写get中不存在的参数
用户认证:
# 认证,form表单的提交
url = 'http://m.ctrip.com'
data= {'username': 'lzl','password':'123456'}
r = requests.post(url, data=data)
#复杂post请求
url = 'http://m.ctrip.com'
payload = {'some': 'data'}
r = requests.post(url, data=json.dumps(payload)) #如果传递的payload是string而不是dict,需要先调用dumps方法格式化一下
发送文件:
#post多部分编码文件
url = 'http://m.ctrip.com'
files = {'file': open('report.xls', 'rb')}
r = requests.post(url, files=files)
6、中文乱码
reptext = response.content.decode('gbk')