继续上一篇文章的内容，上一篇文章中，将爬虫调度器已经写好了，调度器是整个爬虫程序的“大脑”，也可以称之为指挥中心。而现在，我们要做的就是去将调度器中用到的其他组件写好。首先是url管理器，它既然作为管理器，那么它一定要区分待爬取的url和已经爬取的url，否则会重复爬取。这里教程用的是set集合，将两个url暂时存放到集合中，也就是内存中，毕竟比较爬取的数据比较少，当然也可以存放到别的地方，比如缓存或者关系型数据库中。
从图中可以看出，一共出现5次：
第一次是调度器初始化函数中，创建这个urlmanager对象，
第二次是调用了add_new_url方法来将最初始的url加入到带爬取的集合中，
第三次是在爬取过程中来判断是否有待爬取的url,
第四次是将要爬取的url从集合中取出来，
第五次是将页面解析出来的新的一组url再次添加到带爬去集合中
那么我们接下来就要做的是用代码来实现这些功能：
class UrlManager(object):
"""docstring for UrlManager"""
def __init__(self):
self.new_urls = set()
self.old_urls = set()
#向管理器中添加一个新的url
def add_new_url(self,url):
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
#从爬取数据中向管理器中批量添加url
def add_new_urls(self,urls):
if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url)
#判断是否有新的url
def has_new_url(self):
return (len(self.new_urls) != 0)
#从管理器中取出一个新的url
def get_new_url(self):
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
好，到这，url管理器就搞定了！
接下来就是url下载器了，很简单一个功能，将程序访问的页面保存下来。
从上图可以看出，下载器只在调度器中出现过两次：
第一次是初始化的时候创建
第二次是紧接着取到url之后，马上调用它来下载页面
在url下载器中，原教程使用的是urllib库，我觉得有点繁琐。所以我换成了一个更好用的库：requests。这个库可以帮助我屏蔽许多技术难题，直接去抓取我们想要访问的页面，而且使用起来非常简单。
import requests
class HtmlDownloader(object):
"""docstring for HtmlDownloader"""
def download(self,url):
if url is None:
return
response = requests.get(url, timeout = 0.1)
response.encoding = 'utf-8'
if response.status_code == requests.codes.ok:
return response.text
else:
return
简要讲一下这段代码：
a.首先要导入requests库，这个因为是第三方库，所以需要你自己下载 ，在命令行 输入 ：pip install requests
b.然后开始写下载器这个类，这个类只有一个方法，就是download。这个方法首先会接受你给定的url，然后对其进行判断是否存在。
c.然后调用requests的get方法，它里面接受两个参数，一个是url,还有一个是timeout
timeout是我自己额外加进去的，就是访问超时。如果不加timeout，程序会假死，也就是说会一直在那里等待页面的响应，也不抛出异常。
d.然后对返回的response进行编码设置，因为爬取的百度百科页面是utf-8，所以这里最好还是设置一下，虽然requests会智能判断，但是还是手动改一下为宜。
e.然后在判断页面是否响应，这里的codes.ok其实就是200，表示网页正常响应，你这里直接写 response.status_code == 200 也没问题。
f.最后，将页面的所有内容都返回，这里的text就是一个字符串，它包含了一个页面的所有代码（html,css,js）。