运行平台：windows
python版本：python3.x
ide：sublime text3
一、scrapy简介
scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。scrapy最初就是为了网络爬取而设计的。现在，scrapy已经推出了曾承诺过的python3.x版本。
为什么学习scrapy呢？它能我们更好的完成爬虫任务，自己写python爬虫程序好比孤军奋战，而使用了scrapy就好比手底下有了千军万马。scrapy可以起到事半功倍(甚至好几倍*.*)的效果。所以，学习scrapy也就显得很有必要了。
二、scrapy安装
1.直接使用指令pip3 install scrapy，发现有诸多错误。
- failed building wheel for lxml
- microsoft visual c++ 10.0 is required
- failed building twisted
- unable to find vcvarsall.bat
遇到的错误，如下图所示：
2.解决办法
(1)在cmd中输入指令python，查看python的版本，如下：
从上图可以看出可以看出我的python版本为python3.5.2-64bit。
(2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/，ctrl+f搜索lxml、twisted、scrapy，下载对应的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本为3.7.3，对应的python版本为3.5-64bit。我下载的版本如下图所示：
在cmd中输入dos指令，进入下载好的whl文件夹下，例如我的三个whl文件放在了scrapy文件夹下：
(4)依次执行如下命令：
a.pip3 install wheel
b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl
c.pip3 install twisted-17.1.0-cp35-cp35m-win_amd64.whl
d.pip3 install scrapy-1.3.2-py2.py3-none-any.whl
这样scrapy的安装就完成了，请忽略最后两行让我升级pip的信息。*.*
(5)srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装即可。安装完成后，就可以正常使用scrapy了。
url：https://sourceforge.net/projects/pywin32/files/pywin32/build%20220/
至此，大功告成，我们可以愉快的使用scrapy了。
总结
以上所述是小编给大家介绍的python安装scrapy的正确姿势，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对服务器之家网站的支持！
原文链接：https://www.cnblogs.com/Python6359/archive/2018/06/26/9229524.html