Python3下安装Scrapy

时间:2021-01-27 07:03:36

  在windows下安装Scrapy的错误挺多的, 我将我安装成功的步骤发出来,供更多的人参考。

  首先,直接进入Scrapy网站的文档Installation guide下的 Installing Scrapy下:

https://doc.scrapy.org/en/1.2/intro/install.html

Python3下安装Scrapy

可以看到安装Scrapy所依赖的包。

parsel, w3lib, cryptography, pyOpenSSL这些可以直接使用pip命令安装。如:

pip install parsel

而lxml和twisted使用pip安装则会出现错误。

这两个包可以在如下网站下载whl文件,之后在安装。

http://www.lfd.uci.edu/~gohlke/pythonlibs/

注意下载时要选择自己操作系统位数和python软件位数对应的进行下载

Python3下安装Scrapy

依赖包在安装完成之后就可以使用pip命令安装scrapy了

Python3下安装Scrapy

等待完成就显示Successfully了

Python3下安装Scrapy

至此,Scrapy就安装完成了,可以做你想做的事情了