由于简单的scrapy设置无法抓取如京东产品价格信息等javascript动态输出的数据,需要采用selenium、PhantomJS等工具辅助。
运用这些工具的原理其实就是类似用浏览器打开需要爬取的网页,运行javascript产生目标数据后用scrapy进行采集。
当前平台:ubuntu14.04, Python 2.7
安装软件版本:selenium 2.46.1,
安装过程:
1、scrapy安装:可以按照scrapy网站关于ubuntu下安装说明,直接apt很简单;
2、selenium:按照官网说明安装,安装包下载:https://pypi.python.org/packages/source/s/selenium/selenium-2.46.1.tar.gz ,安装命令:sudo python setup.py install
3、PhantomJS 2.0 没有ubuntu稳定安装包,只能自行编译,过程看官网指南: http://phantomjs.org/build.html 。安装包比较大,在淘宝镜像下载比较方便: http://npm.taobao.org/mirrors/phantomjs 。编译过程30分钟以上,不得已而为之。