urllib
urllib模块是python3的URL处理包
其中:
1、urllib.request主要是打开和阅读urls
个人平时主要用的1:
打开对应的URL:urllib.request.open(url)
用urllib.request.build_opener([handler, ...]),来伪装成对应的浏览器
1
2
3
4
5
6
7
8
9
10
11
12
|
import urllib
#要伪装成的浏览器(我这个是用的chrome)
headers = ( 'User-Agent' , 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36' )
url = 'http://hotels.ctrip.com/'
opener = urllib.request.build_opener()
#将要伪装成的浏览器添加到对应的http头部
opener.addheaders = [headers]
#读取相应的url
data = opener. open (url).read()
#将获得的html解码为utf-8
data = data.decode( 'utf-8' )
print (data)
|
2、urllib.parse主要是用来解析url
主要方法:
urllib.parse.urlparse(urlstring)
功能:将对应的URL解析成六部分,并以元组的数据格式返回来。(在功能上和urlsplit()几乎一模一样)
1
2
3
4
5
6
7
|
import urllib
o = urllib.parse.urlparse( 'http://www.cwi.nl:80/%7Eguido/Python.html' )
print (o)
print (o.path)
print (o.scheme)
print (o.port)
print (o.geturl())
|
对应的结果:
ParseResult(scheme='http', netloc='www.cwi.nl:80', path='/%7Eguido/Python.html', params='', query='', fragment='')
/%7Eguido/Python.html
http
80
http://www.cwi.nl:80/%7Eguido/Python.html
2、构建一个新的url——urllib.parse.urljoin(base, url)
参数:base:基本的URL链接
url:另一个url
1
2
3
|
from urllib.parse import urljoin
a = urljoin( 'http://www.cwi.nl/%7Eguido/Python.html' , 'FAQ.html' )
print (a)
|
结果:http://www.cwi.nl/%7Eguido/FAQ.html
这个函数在爬虫的时候应该方便多了,我之前用的是比较笨的方法直接字符串拼接
3、异常处理 urllib.error
用 try-except来捕捉异常
主要的错误方式就两种 URLError和HTTPError
因为HTTPError是URLError的子类,所以URLError应该写在HttpError后面,说白了就是找到儿子一定知道父亲,找到父亲,不一定知道儿子。
1
2
3
4
5
6
7
|
try :
data = urllib.request.urlopen(url)
print (data.read().decode( 'utf-8' ))
except urllib.error.HTTPError as e:
print (e.code)
except urllib.error.URLError as e:
print (e.reason)
|
结果:[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。
如果捕获到了HTTPError,则输出code,不会再处理URLError异常。如果发生的不是HTTPError,则会去捕获URLError异常,输出错误原因