零基础自学用Python 3开发网络爬虫(五): 使用第三方模块快速抓取与解析

• 点击进入本系列目录

在前面的四篇文章中, 我们一直采用 python 3 自带的 urllib  模块来抓取网页, 然后用 re 模块来处理抓取到的数据. 这次我们使用 Requests 库来代替 urllib, 用 BeautifulSoup 来代替 re 模块.

对于这两个模块来说, 学习使用它们的最好方法是看官方文档, 这两个模块的官方文档都有中文版(翻译的不是很完整).

• Requests 官网
• BeautifulSoup 官网

在 Windows 下如果安装了 Python3, 那么在 cmd 下直接可以通过 pip 来安装这两个模块, 命令如下:

pip install requests pip install beautifulsoup4

1 2	pip install requests pip install beautifulsoup4

在 Ubuntu 下安装方法如下:

sudo apt-get install python3-pip sudo pip3 install requests sudo pip3 install beautifulsoup4

1 2 3

sudo apt - get install python3 - pip sudo pip3 install requests sudo pip3 install beautifulsoup4

然后我们运行 Python3, 试一下是否能把这两个模块 import 进来, 就知道是否安装成功了:

C:\Users\Liu>python Python 3.4.2 (v3.4.2:ab2c023a9432, Oc Type "help", "copyright", "credits" o >>> import requests >>> from bs4 import BeautifulSoup >>>

1 2 3 4 5 6

C : \ Users \ Liu > python Python 3.4.2 ( v3 . 4.2 : ab2c023a9432 , Oc Type "help" , "copyright" , "credits" o >>> import requests >>> from bs4 import BeautifulSoup >>>

 

Requests Module

Requests 是 Python 界大名鼎鼎的一个网络库, 其设计哲学是为人类而设计, 所以他提供的功能都非常的人性化. 他的方便对我而言主要有两大点:

• 对 GET 和 POST 方法的封装做的很好, 自动处理了编码等问题;
• 默认开启了 Cookies 处理, 在处理需要登录的问题上面非常方便.

Requests 的方便之处不止这两点, 还提供了诸如标准登录接口之类的功能, 我们暂时用不上.

总而言之, 对于使用过 urllib 的我们来说, 用 requests 会感觉我们之前生活在石器时代. 第三方库的强大就在于这里, 这也是 Python 这么火的重要原因.

 

BeautifulSoup Module

BeautifulSoup 大大方便了我们对抓取的 HTML 数据的解析, 可以用tag, class, id来定位我们想要的东西, 可以直接提取出正文信息, 可以全文搜索, 同样也支持正则表达式, 相当给力.

 

小试牛刀

我们随便抓取一个页面, 然后用 soup 来解析一下试试他的威力:

>>> import requests >>> from bs4 import BeautifulSoup >>> response = requests.get("http://jecvay.com") >>> soup = BeautifulSoup(response.text) >>> print(soup.title.text) Jecvay Notes - Good luck & Have fun >>> print(soup.body.text) 改版策略: 技术博客的真正索引 上周, 我换掉了我博客的主题, 使用 BootStrap 框架自己写了一个. 在自己动手写博客主题之前, 我时常时不时到后台主题商店去翻一翻, 想要发现更好看的主题. 挑选有两种: 在一大堆展示面前, 快速浏览, 看到亮眼的就仔细看一看是否满意; 自己想好一个目标, 然后用筛选器(或者人肉)筛选出来. 阅读全文 >> (...省略若干) >>> for x in soup.findAll("a"): ... print(x['href']) ... http://jecvay.com/2015/02/the-real-index-of-tech-blog.html http://jecvay.com/2015/02/the-real-index-of-tech-blog.html http://jecvay.com/2015/01/wordpress-super-cache.html http://jecvay.com/2015/01/learning-vps-3.html http://jecvay.com/2015/01/nobot-anti-webspider.html http://jecvay.com/2015/01/learning-vps-2.html http://jecvay.com/2014/12/learning-vps-1.html http://jecvay.com/2014/11/what-is-min-cut.html http://jecvay.com/2014/11/compiler-makes-fast-build.html /about-me /archive

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31

>>> import requests >>> from bs4 import BeautifulSoup >>> response = requests . get ( "http://jecvay.com" ) >>> soup = BeautifulSoup ( response . text )   >>> print ( soup . title . text ) Jecvay Notes - Good luck & Have fun   >>> print ( soup . body . text ) 改版策略 : 技术博客的真正索引   上周 , 我换掉了我博客的主题 , 使用 BootStrap 框架自己写了一个 . 在自己动手写博客主题之前 , 我时常时不时到后台主题商店去翻一翻 , 想要发现更好看的主题 . 挑选有两种 : 在一大堆展示面前 , 快速浏览 , 看到亮眼的就仔细看一看是否满意 ; 自己想好一个目标 , 然后用筛选器 (或者人肉 )筛选出来 . 阅读全文 >> ( . . .省略若干 )   >>> for x in soup . findAll ( "a" ) : . . .    print ( x [ 'href' ] ) . . . http : / / jecvay . com / 2015 / 02 / the - real - index - of - tech - blog . html http : / / jecvay . com / 2015 / 02 / the - real - index - of - tech - blog . html http : / / jecvay . com / 2015 / 01 / wordpress - super - cache . html http : / / jecvay . com / 2015 / 01 / learning - vps - 3.html http : / / jecvay . com / 2015 / 01 / nobot - anti - webspider . html http : / / jecvay . com / 2015 / 01 / learning - vps - 2.html http : / / jecvay . com / 2014 / 12 / learning - vps - 1.html http : / / jecvay . com / 2014 / 11 / what - is - min - cut . html http : / / jecvay . com / 2014 / 11 / compiler - makes - fast - build . html / about - me / archive

我们十分轻松的获得了全文内容以及所有链接.

 

重访知乎

在上一篇文章中, 我尝试使用 urllib 和 re 获取了知乎登录页面的 _xsrf 参数, 这次我们通过这两个新的模块再试一次.

打开浏览器隐身模式, 打开知乎网, 来到登录界面, 查看源代码, 搜索 xsrf 字样, 得到如下一行:

<input type="hidden" name="_xsrf" value="d4ff8d988193442a774bd0ccff336101"/>

1	<input type = "hidden" name = "_xsrf" value = "d4ff8d988193442a774bd0ccff336101" />

于是我们只要两行代码就能搞定:

>>> soup = BeautifulSoup(requests.get("http://www.zhihu.com").text) >>> print(soup.find("input", {"name": "_xsrf"})['value']) d4ff8d18b293442a764bd0ccff333601

1 2 3

>>> soup = BeautifulSoup ( requests . get ( "http://www.zhihu.com" ) . text ) >>> print ( soup . find ( "input" , { "name" : "_xsrf" } ) [ 'value' ] ) d4ff8d18b293442a764bd0ccff333601

第三方库就是这么好用!