requests的安装与简单运用

时间:2022-12-16 07:50:41

requests是python的一个HTTP客户端库,跟urllib,urllib2类似,那为什么要用requests而不用urllib2呢?官方文档中是这样说明的:

python的标准库urllib2提供了大部分需要的HTTP功能,但是API太逆天了,一个简单的功能就需要一大堆代码。

我也看了下requests的文档,确实很简单,适合我这种懒人。下面直接看文档。

http://cn.python-requests.org/zh_CN/latest/user/quickstart.html

看下他的强大之处:

1、原始爬虫

最原始的爬虫爬虫可以只是发送一个HTTP请求,并获取返回的响应数据,使用Requests三行就可以写出一个简单的爬虫,代码如下:

import requests
r = requests.get('http://www.zhidaow.com')
print r.content

2、高级爬虫

给原始爬虫升级几个技能就可以投入使用了,我经常升级以下几个功能。

2.1 获取特定字段: BeautifulSoup+Requests

BeautifulSoup可以将HTML解析为DOM树,然后获取特定字段。关于BeautifulSoup的详细内容可以看这篇文章,这里只举一个简单的例子。

以下是途牛某游玩页面的部分代码

<div class="des">
<h1 class="mb_10">玉渊潭樱花节</h1>
<p class="address mb_5"><em class="c_999">地&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 址:</em></p>
<p class="othmes">
<span class="t1"><em class="c_999">游玩时间:</em>预计<b class="c_f80">4小时</b></span>
</p>
</div>

可以通过<b class="c_f80">..</b>这个特征来获取4小时这个字段:

import requests
from bs4 import BeautifulSoup as bs url = 'http://www.tuniu.com/play/9232/'
r = requests.get(url) soup = bs(r.content)
print soup.find('b', class_='c_f80').string
#输出字段有空格,可以通过strip()函数来过滤多余的空格和换行

注:也可以用requests和lxml的方式抓取。

2.2 使用代理

为避免屏蔽,抓取时通常需要代理,使用Requests的proxies参数可以实现这个效果。接上面代码:

proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
r = requests.get(url, proxies=proxies)

如果代理需要账户和密码,则需这样:

proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}

2.3 模拟百度蜘蛛

抓取时模拟搜索引擎蜘蛛是个好主意,这里就以User-Agent试图模仿百度蜘蛛去抓取:

headers = {
'User-Agent': 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)',
}
r = requests.get(url, headers=headers)

3.4 多线程抓取

为了提高抓取速度,一般都会采用多线程的方式去抓取,可采用了第三方库threadpool的形式实现了多线程。在这里我采用另外一种形式,用标准库multiprocessing来实现:

import requests
from bs4 import BeautifulSoup as bs
from multiprocessing.dummy import Pool as ThreadPool #URL列表
urls = [
'http://www.tuniu.com/play/9232/',
'http://www.tuniu.com/play/9231/',
'http://www.tuniu.com/play/9237/',
'http://www.tuniu.com/play/9234/',
# etc..
] #提取字段函数
def get_play_time(url):
r = requests.get(url)
soup = bs(r.content)
print soup.find('b', class_='c_f80').string.strip() #设置线程数
pool = ThreadPool(4) #开启多线程
results = pool.map(get_play_time, urls) #关闭线程并等待结束
pool.close()
pool.join()

注:这个多线程的实现主要参考了这篇文章

2.5 requests+正则

有时候如果所需字段出现在JS等DOM树之外,可以直接使用正则的方式获取,有时候速度反而会更快一点。

2.6 抓取网页JS内容

很多网站会将重点内容放在JS中,增加了抓取的难度。这种可以通过Selenium+PhantomJS+Xpath的方式抓取。有点跑题了……哈哈