Scrapy框架下载与安装

时间:2024-04-09 16:01:07

 

Scrapy框架

Scrapy是一种用于抓取网站和提取结构化数据的应用程序框架,可用于广泛的有用应用程序,如数据挖掘,信息处理或历史存档 

Scrapy是用纯python实现一个为了爬取网站数据,提取结构性数据而编写的应用框架,用途非常广泛。

框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。

Scrapy 使用了Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。

一、利用Anaconda简单安装Scrapy框架

Scrapy在CPython(默认Python实现)和PyPy(从PyPy5.9开始)下运行Python2.7和Python3.4或更高版本。

如果你使用的是Anaconda,你可以在DOS窗口输出命令 conda install scrapy

Scrapy框架下载与安装  

输入y表示允许安装依赖库

Scrapy框架下载与安装

测试scrapy安装是否成功,在DOS窗口输入scrapy回车。

Scrapy框架下载与安装

二、通过下载Scrapy来进行配置安装

1、依赖库安装:点击下载依赖库   cp36 表示Python3.6版本 win32/64表示你的windows系统。

Scrapy框架下载与安装

2、下载whl文件,利用pip安装即可(尽量把下载的whl文件放在自己所知道的路径,因为安装时DOS窗口执行命令要在文件所在路径,才能进行安装)

Scrapy框架下载与安装

3、下载并安装scrapy

Scrapy框架下载与安装

Scrapy框架下载与安装

所有步骤完成后,怎样验证scrapy是否安装成功呢?

只需要在DOS窗口输入scrapy 回车。如果说出现下图,就表示安装成功了。

Scrapy框架下载与安装