python——爬虫&问题解决&思考(三)

时间:2022-05-12 15:27:54

  继续上一篇文章的内容,上一篇文章中,将爬虫调度器已经写好了,调度器是整个爬虫程序的“大脑”,也可以称之为指挥中心。而现在,我们要做的就是去将调度器中用到的其他组件写好。首先是url管理器,它既然作为管理器,那么它一定要区分待爬取的url和已经爬取的url,否则会重复爬取。这里教程用的是set集合,将两个url暂时存放到集合中,也就是内存中,毕竟比较爬取的数据比较少,当然也可以存放到别的地方,比如缓存或者关系型数据库中。

python——爬虫&问题解决&思考(三)

  从图中可以看出,一共出现5次:

    第一次是调度器初始化函数中,创建这个urlmanager对象,

    第二次是调用了add_new_url方法来将最初始的url加入到带爬取的集合中,

    第三次是在爬取过程中来判断是否有待爬取的url,

    第四次是将要爬取的url从集合中取出来,

    第五次是将页面解析出来的新的一组url再次添加到带爬去集合中

  那么我们接下来就要做的是用代码来实现这些功能:

 class UrlManager(object):
     """docstring for UrlManager"""
     def __init__(self):
         self.new_urls = set()
         self.old_urls = set()
     #向管理器中添加一个新的url
     def add_new_url(self,url):
         if url is None:
             return
         if url not in self.new_urls and url not in self.old_urls:
             self.new_urls.add(url)
     #从爬取数据中向管理器中批量添加url
     def add_new_urls(self,urls):
         if urls is None or len(urls) == 0:
             return
         for url in urls:
             self.add_new_url(url)
     #判断是否有新的url
     def has_new_url(self):
         return (len(self.new_urls) != 0)
     #从管理器中取出一个新的url
     def get_new_url(self):
         new_url = self.new_urls.pop()
         self.old_urls.add(new_url)
         return new_url

  好,到这,url管理器就搞定了!

  接下来就是url下载器了,很简单一个功能,将程序访问的页面保存下来。

  python——爬虫&问题解决&思考(三)

  从上图可以看出,下载器只在调度器中出现过两次:

    第一次是初始化的时候创建

    第二次是紧接着取到url之后,马上调用它来下载页面

  在url下载器中,原教程使用的是urllib库,我觉得有点繁琐。所以我换成了一个更好用的库:requests。这个库可以帮助我屏蔽许多技术难题,直接去抓取我们想要访问的页面,而且使用起来非常简单。

  

 import requests

 class HtmlDownloader(object):
     """docstring for HtmlDownloader"""
     def download(self,url):
         if url is None:
             return
         response = requests.get(url, timeout = 0.1)
         response.encoding = 'utf-8'
         if response.status_code == requests.codes.ok:
             return response.text
         else:
             return 

  简要讲一下这段代码:

    a.首先要导入requests库,这个因为是第三方库,所以需要你自己下载 ,在命令行 输入 :pip install requests

    b.然后开始写下载器这个类,这个类只有一个方法,就是download。这个方法首先会接受你给定的url,然后对其进行判断是否存在。

    c.然后调用requests的get方法,它里面接受两个参数,一个是url,还有一个是timeout

      timeout是我自己额外加进去的,就是访问超时。如果不加timeout,程序会假死,也就是说会一直在那里等待页面的响应,也不抛出异常。

    d.然后对返回的response进行编码设置,因为爬取的百度百科页面是utf-8,所以这里最好还是设置一下,虽然requests会智能判断,但是还是手动改一下为宜。

    e.然后在判断页面是否响应,这里的codes.ok其实就是200,表示网页正常响应,你这里直接写 response.status_code == 200 也没问题。

    f.最后,将页面的所有内容都返回,这里的text就是一个字符串,它包含了一个页面的所有代码(html,css,js)。