最近写了一些爬虫，总结下遇到过的一些问题.
常用库:
- 抓取网页: 常用的有requests, urllib.
- 解析: BeautifulSoup, lxml, re.
- 框架: scrapy, pyspier.
- url去重: bloomfilter
- 图片处理: Pillow
- OCR: Tesseract，google的一个ocr库。
- 代理: 代理Tor, PySocks
如何异步爬取？
可以使用grequests库，或者对于简单的爬虫,tornado文档有个demo，稍微改下自己用。
一个简单的异步爬虫类：
import time
from datetime import timedelta
from tornado import httpclient, gen, ioloop, queues
class AsySpider(object):
def __init__(self, urls, concurrency):
self.urls = urls
self.concurrency = concurrency
self._q = queues.Queue()
self._fetching = set()
self._fetched = set()
def handle_page(self, url, html):
print(html)
@gen.coroutine
def get_page(self, url):
try:
response = yield httpclient.AsyncHTTPClient().fetch(url)
print('######fetched %s' % url)
except Exception as e:
print('Exception: %s %s' % (e, url))
raise gen.Return('')
raise gen.Return(response.body)
@gen.coroutine
def _run(self):
@gen.coroutine
def fetch_url():
current_url = yield self._q.get()
try:
if current_url in self._fetching:
return
print('fetching****** %s' % current_url)
self._fetching.add(current_url)
html = yield self.get_page(current_url)
self._fetched.add(current_url)
self.handle_page(current_url, html)
for i in range(self.concurrency):
if self.urls:
yield self._q.put(self.urls.pop())
finally:
self._q.task_done()
@gen.coroutine
def worker():
while True:
yield fetch_url()
self._q.put(self.urls.pop())
# Start workers, then wait for the work queue to be empty.
for _ in range(self.concurrency):
worker()
yield self._q.join(timeout=timedelta(seconds=300))
assert self._fetching == self._fetched
def run(self):
io_loop = ioloop.IOLoop.current()
io_loop.run_sync(self._run)
def main():
urls = ['http://www.baidu.com'] * 100
s = AsySpider(urls, 10)
s.run()
if __name__ == '__main__':
main()
如何模拟成浏览器?
使用requests库可以很方便的给请求加上header，具体可以参考requests的文档。
如何提交表单？模拟登录
一般是查找html源代码找到form，然后看form提交的地址，就可以直接使用requests的post方法提交数据。
另外requests还有个Session模块，使用起来很方便。
有些网站如果是需要登录的，我们可以直接把登录后自己的cookies复制下来，直接作为requests的cookies参数传进去。
如何模拟成搜索引擎？
123456 |
# 模仿百度蜘蛛# 模拟成搜索引擎只需要改下header的User-Agent，比如模拟百度爬虫:headers = { 'User-Agent': 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)',}r = requests.get(url, headers=headers) |
其他常见搜索引擎:
360Spider：
Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider
Sogouspider：
Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
如何抓取手机app的内容？
手机内容一般通过发送请求使用json等数据格式通信，所以可以使用抓包软件fiddle等来抓取请求，分析请求来源，之后就可以模拟
发送请求抓取数据。抓包也可以使用mitmproxy，一个python开发的强大的代理软件，只需要用命令行启动mitmproxy，之后将手机wifi
代理更改成为电脑的ip和mitmproxy启动时指定的端口号，就可以看到app发送的请求了。接下来要做的就是仔细过滤请求，看看需要的
信息是通过什么请求发送的，我们就可以直接使用requests手工模拟获取数据了。
碰到验证码怎么办?
上边提到过一个OCR库Tesseract, 简单的验证码可以使用这个命令行工具搞定.
遇到动态生成的内容怎么办？
一种方法是打开浏览器的开发者工具，追踪到浏览器发送的请求，然后直接模拟。
还有一种方法是Selenium+PhantomJs库，具体可以参考网上的教程或者附录参考书。