搭建scrapy抓取javascript动态数据的爬虫

时间:2021-10-14 08:50:46

由于简单的scrapy设置无法抓取如京东产品价格信息等javascript动态输出的数据,需要采用selenium、PhantomJS等工具辅助。

运用这些工具的原理其实就是类似用浏览器打开需要爬取的网页,运行javascript产生目标数据后用scrapy进行采集。


当前平台:ubuntu14.04, Python 2.7

安装软件版本:selenium 2.46.1, 

安装过程:

1、scrapy安装:可以按照scrapy网站关于ubuntu下安装说明,直接apt很简单;

2、selenium:按照官网说明安装,安装包下载:https://pypi.python.org/packages/source/s/selenium/selenium-2.46.1.tar.gz ,安装命令:sudo python setup.py install

3、PhantomJS 2.0 没有ubuntu稳定安装包,只能自行编译,过程看官网指南: http://phantomjs.org/build.html 。安装包比较大,在淘宝镜像下载比较方便: http://npm.taobao.org/mirrors/phantomjs 。编译过程30分钟以上,不得已而为之。