Python爬虫基础之UrlError

一、urllib.error

python的urllib.error模块主要是应对urllib.request在网络请求过程中出现的异常而定义的异常处理类。主要有URLError和HTTPError两个类，URLError的父类是OSError，HTTPError是URLError的子类。

1.urllib.error.URLError

URLError是OSError的子类，当请求过程中没有网络连接，域名映射的服务器不存在都会抛出异常。

属性reason，说明产生异常的原因，返回一个字符串错误信息或者另外一个异常实例对象。

import urllib.request
import urllib.error

try:
    request = urllib.request.Request('http://www.baidu.com/')
    response = urllib.request.urlopen(request)
    print(response.read().decode('utf-8'))
except urllib.error.HTTPError as e:
    print('http error:%s' % e.reason)
except urllib.error.URLError as e:
    print('url error:%s' % e.reason)

 产生异常：

 Request参数Url传入一个不存在的域名地址www123.baidu.com或者直接拔掉网线（禁用网络连接），程序就会抛出URLError

 request = urllib.request.Request('http://www123.baidu.com/')

 捕捉并打印异常信息：url error:[Errno 11004] getaddrinfo failed

 

2.urllib.error.HTTPError

HTTPError是URLError的子类，urllib.request.urlopen()请求过程中产生HTTP错误，例如资源不存在、身份授权异常，服务器内部错误等。

属性code，返回http请求的状态码，例如200、404、500等

属性reason，说明产生异常的原因，返回一个字符串错误信息。

属性headers，urllib.request请求触发HTTP Error异常，返回响应的请求头headers信息。

import urllib.request
import urllib.error

try:
    request = urllib.request.Request('https://www.cnblogs.com/123.html')
    response = urllib.request.urlopen(request)
    print(response.read().decode('utf-8'))
except urllib.error.HTTPError as e:
    print('http error: http code :{0},error msg :{1}'.format(e.code, e.reason))
except urllib.error.URLError as e:
    print('url error:%s' % e.reason)

产生异常：
Request参数Url传入一个不存在的页面地址123.html,请求的资源不存在，程序就会抛出HTTPError异常

request = urllib.request.Request('https://www.cnblogs.com/123.html')

捕捉并打印异常信息：http error: http code :404,error msg :Not Found