Python2中的urllib、urllib2与Python3中的urllib以及第三方模块requests

时间：2022-01-25 22:25:52

python2中，urllib和urllib2

都是接受URL请求的相关模块，但是提供了不同的功能。两个最显著的不同如下：

（urllib2.urlopen accepts an instance of the Requestclass or a url, whereas urllib.urlopen only accepts aurl）

1、urllib2可以接受一个Request类的实例来设置URL请求的headers

2、urllib仅可以接受URL。这意味着，你不可以伪装你的User Agent字符串等。

    urllib 有urlencode,urllib2没有，这也是为什么总是urllib，urllib2常会一起使用的原因

req = urllib2.Request( 
        url=url,  
        data=postdata,  
        headers=headers  
)  
result = urllib2.urlopen(req)

Python3x中的urllib包、http包以及第三方包requests

Python3中把包成为了2个包，就是http与urllib，详解如下：
http会处理所有客户端--服务器http请求的具体细节，其中：
（1）client会处理客户端的部分
（2）server会协助你编写Python web服务器程序
（3）cookies和cookiejar会处理cookie，cookie可以在请求中存储数据

urllib是基于http的高层库，它有以下三个主要功能：
（1）request处理客户端的请求
（2）response处理服务端的响应
（3）parse会解析url

#发送数据和header  
import urllib.parse  
import urllib.request  
url = ''  
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {  
'act' : 'login',  
'login[email]' : '',  
'login[password]' : ''  
}  
headers = { 'User-Agent' : user_agent }  
data = urllib.parse.urlencode(values)  
req = urllib.request.Request(url, data, headers)  
response = urllib.request.urlopen(req)  
the_page = response.read()  
print(the_page.decode("utf8"))

Python第三方库requests

requests 使用的是 urllib3，继承了urllib2的所有特性。requests有很大功能特性：

支持HTTP连接保持和连接池；支持使用cookie保持会话；支持文件上传；支持自动确定响应内容的编码；支持国际化的 URL 和 POST 数据自动编码。requests不是python自带的库，需要另外安装 

pip install requests
先来一个简单的例子吧 

import requests

r = requests.get(url='http://www.baidu.com')    # 最基本的GET请求
print(r.status_code)    # 获取返回状态
#带参数的GET请求，http://dict.baidu.com/s?wd=python
r = requests.get(url='http://dict.baidu.com/s', params={'wd':'python'})   
print(r.url)
print(r.text)   #打印解码后的返回数据
除了get 请求外，还可以POST请求，PUT请求，DELETE请求，HEAD请求，OPTIONS请求

对于WEB系统除了get请求外，还可以POST请求，PUT请求，DELETE请求，HEAD请求，OPTIONS请求一般只支持 GET 和 POST，有一些还支持 HEAD 方法
requests的官方指南文档：http://docs.python-requests.org/en/latest/user/quickstart.html

标签：

相关文章