Scrapy框架
Scrapy是一种用于抓取网站和提取结构化数据的应用程序框架,可用于广泛的有用应用程序,如数据挖掘,信息处理或历史存档
Scrapy是用纯python实现一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛。
框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。
Scrapy 使用了Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。
一、利用Anaconda简单安装Scrapy框架
Scrapy在CPython(默认Python实现)和PyPy(从PyPy5.9开始)下运行Python2.7和Python3.4或更高版本。
如果你使用的是Anaconda,你可以在DOS窗口输出命令 conda install scrapy
输入y表示允许安装依赖库
测试scrapy安装是否成功,在DOS窗口输入scrapy回车。
二、通过下载Scrapy来进行配置安装
1、依赖库安装:点击下载依赖库 cp36 表示Python3.6版本 win32/64表示你的windows系统。
2、下载whl文件,利用pip安装即可(尽量把下载的whl文件放在自己所知道的路径,因为安装时DOS窗口执行命令要在文件所在路径,才能进行安装)
3、下载并安装scrapy
所有步骤完成后,怎样验证scrapy是否安装成功呢?
只需要在DOS窗口输入scrapy 回车。如果说出现下图,就表示安装成功了。