爬虫请求库之requests库

时间：2025-02-14 19:06:07

一、介绍

介绍：使用requests可以模拟浏览器的请求，比之前的urllib库使用更加方便

注意：requests库发送请求将网页内容下载下来之后，并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求

安装：pip install requests

常用的请求方式：requests.get(),requests.post()

二、基于GET请求

1.基本请求

import requests

res = requests.get('http://www.baidu.com')

res.encoding='utf-8'

print(res.text)   #获取百度首页页面html代码

爬虫请求库之requests库

 2.带参数的GET请求-->params

自己拼接GET参数   (在?后面拼接参数)

#加上请求头headers伪装成浏览器，百度才会正常返回页面，不一定只加User-agent，每个网站需要加不一样的请求头参数，需要自己慢慢试
import requests

res = requests.get('https://www.baidu.com/s?wd=python',   #?拼接路径

                   headers = {

                    'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'

                   })

res.encoding='utf-8'

print(res.text)

注意：如果拼接的参数是中文或者有其他特殊符号，则不得进行url编码，使用下面这种方式

params参数使用

import requests

res = requests.get('https://www.baidu.com/s',

                   params={

                       'wd':'python'

                   },

                   headers = {

                    'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'

                   })

res.encoding='utf-8'

print(res.text)

3.带参数的GET请求-->headers

#通常我们在发送请求时需要带上请求头，请求头是将自身伪装成浏览器的关键，请求头headers中常见的参数如下：

Host

Referer   #大型网站通常都会根据该参数判断请求的来源

User-Agent

Cookie    #cookie信息虽然包含在请求头内，但requests模块有单独的参数来处理它，所以在headers中就不需要放它了

4.带参数的GET请求-->cookies

比如登录了某个网站，然后从浏览器获取cookies,以后就可以直接拿着cookie登录了，无需输入用户名密码

Requests库get请求参数源码：

爬虫请求库之requests库

三、基于POST请求

1、介绍

#GET请求方式

HTTP默认的请求方式是GET

    没有请求体

    数据必须在1k之内

    GET请求数据会暴露在浏览器的地址栏中（不安全）

GET请求常用的操作：

    1.在浏览器的地址栏中直接给出url，那么就一定是GET请求

    2.点击页面上的超链接也一定是GET请求

    3.提交表单时，表单默认使用GET请求，但可以设置为POST

#POST请求方式

1.数据不会出现在地址栏中

2.数据的大小没有上限

3.有请求体data     请求体就类似于，在登录某网站使用的用户名和密码

4.请求体中如果存在中文，会使用url编码

注意：requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体参数

Requests库post请求参数源码（data参数）

爬虫请求库之requests库

data参数在Headers    Form Data中获取

爬虫请求库之requests库

2.模拟登录某网站

import requests

#设置headers请求头

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36',

            'Referer': 'http://www.aa7a.cn/'

            }

#登录网站，需要传入data请求体参数

response = requests.post('http://www.aa7a.cn/user.php',

                         data={

                             'username': '1197865477@qq.com',

                             'password': 'wcc123',

                             'captcha': 'dbcn',

                             'remember': 1,

                             'ref': 'http://www.aa7a.cn/',

                             'act': 'act_login'

                         })

#登录网站后，网页会保存登录cookie，获取这个cookie

cookie=response.cookies.get_dict()#登录之后，会跳转到首页，向首页发送get请求,获取登录后页面html，带上headers和cookies

res = requests.get('http://www.aa7a.cn/',headers=headers,cookies=cookie)

if '1197865477@qq.com' in res.text:

    print('登录成功')

else:

    print('登录失败')

流程分析：

先post请求模拟登录，带上data请求体参数和headers参数，登录成功之后，用get请求获取页面，检验是否登录成功。

四、响应Response

1.response属性

import requests

respone=requests.get('http://www.jianshu.com')

# respone属性

print(respone.text)

print(respone.content)

print(respone.status_code)

print(respone.headers)

print(respone.cookies)

print(respone.cookies.get_dict())

print(respone.cookies.items())

print(respone.url)

print(respone.history)

print(respone.encoding)

#关闭：response.close()

from contextlib import closing

with closing(requests.get('xxx',stream=True)) as response:

    for line in response.iter_content():

    pass

2.编码问题  (有些页面需要设置，不设置页面就会乱码)

import requests

response=requests.get('http://www.baidu.com')

response.encoding='utf-8'

print(response.text)

3.获取二进制数据 （针对于很大的文件用iter_cntent方法）

#stream参数：一点一点取，比如下载很大的视频，用response.content一下子全部写到文件中是不合理的
import requests

response=requests.get('请求路由地址',stream=True)

with open('b.mp4','wb') as f:

    for line in response.iter_content():

        f.write(line)

4.解析json

#解析json

import requests

response=requests.get('http://httpbin.org/get')

import json

res1=json.loads(response.text)  #这种反序列化的方式太麻烦了

res2=response.json()   #直接获取到json数据

print(res1==res2)  #True

返回值Response源码可以获取的属性（不止以下的这些属性，还有一些其他的）

爬虫请求库之requests库

五、高级用法 

1、SSL   (https协议)一般都不会校验，直接用第一种方法就行

#证书验证（大部分网站都是https）

import requests

response=requests.get('http://www.12306.cn')  #如果是ssl请求，首先校验证书是否合法，不合法直接终止程序

#改进1：不进行校验，但是会报警告

import requests

response=requests.get('https://www.12306.cn',verify=False)  #不校验证书，报警告

print(response.status_code)   #返回200

#改进2：去掉报错，并且去掉警报信息

import requests

from requests.packages import urllib3

urllib3.disable_warings()  #关闭警告

response=requests.get('https://www.12306.cn',verify=False)

print(response.status_code)

#改进3：加上证书

#很多网站都是https,但是不用证书也可以，某些网站需要携带证书

import requests

response=requests.get('https://www.12306.cn',cert('/path/server.crt','/path/key'))  #证书地址

print(response.status_code)

2.使用代理   （在网上找一些免费代理ip）

#代理设置：先发送请求给代理，然后由代理帮忙发送 （这个就是正向代理）

import requests

proxies={

    'http':'49.70.94.204:9999',

    'https':'113.194.48.33:9999'

}

response=requests.get('https://12306.cn',proxies=proxies)

print(response.status_code)   #返回200代表这个代理ip可以使用

3.超时设置

#超时设置

#有两种超时：float 和 tuple

#timeout=0.1  #代表接收数据的超时时间,0.1秒之后没接收到就超时

#timeout=(0.1,0.2)  #0.1代表链接超时  0.2代表接收数据的超时时间

import requests

response=requests.get('https:www.baidu.com',timeout=0.1)

4.上传文件

import requests

files = {'file':open('a.jpg','rb')}

response=requests.post('https://httpbin.org/post',files=files)

print(response.status_code)

爬取梨视频视频

流程：

1.先访问梨视频网站，选中某个类型，往下滑点击加载更多，在Network中获取实际请求的地址

爬虫请求库之requests库

访问实际的请求地址：

爬虫请求库之requests库

爬虫请求库之requests库

2.鼠标右击查看网页源代码，获取到这些视频的地址

爬虫请求库之requests库

前面拼接网址就能进行播放

爬虫请求库之requests库

 3.在播放的页面，鼠标右击，点击查看网页源代码，发现真实的视频地址在js中

爬虫请求库之requests库

这个就是真实的视频地址，下载这个就能把这个视频下载下来

代码示例

import requests

import re

res=requests.get('https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=2&start=0')

#用正则方式获取视频id

reg_text = 'a href="(.*?)" class="vervideo-lilink actplay"'

obj=re.findall(reg_text,res.text)  #正则匹配

#for循环取出视频id,访问地址，获取真实视频地址mp4

for urls in obj:

    url = 'https://www.pearvideo.com/' + urls

    res1 = requests.get(url)  #请求单独的视频地址

    obj1 = re.findall('srcUrl="(.*?)"',res1.text) #获取到mp4地址

    name = obj1[0].rsplit('/',1)[1]  #获取视频的名字,用来做保存在本地文件的名字。切割地址，从右边切一次，取索引1的

    print(name)

    res2 = requests.get(obj1[0])  #二进制数据

    with open(name,'wb') as f:  #二进制读取

        for line in res2.iter_content():

            f.write(line)

相关文章