Scrapy安装过程中踩过的那些坑，希望对大家有帮助。
首先，scrapy安装对python版本有要求，仅支持python2.7及以上版本或python3.3及以上版本。
1.使用Scrapy时遇到0: UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from ..的问题解决
http://www.bubuko.com/infodetail-2467560.html
2.报etree
原因：默认安装的lxml版本太高（默认安装最新版），卸载后，重新安装3.8以下版本
conda uninstall lxml
conda install lxml==3.8
3、解决Scrapy安装错误:Microsoft Visual C++ 14.0 is required...
在windows下，在dos中运行pip install Scrapy报错：
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted-18.4.0-cp36-cp36m-win_amd64.whl），
Twisted-18.4.0-cp36-cp36m-win_amd6
4.whl
Twisted-18.4.0-cp35-cp35m-win_amd6
4.whl
cp后面是python版本，amd64代表64位，运行命令：
pip install C:\Users\ibm\Downloads\Twisted-18.4.0-cp36-cp36m-win_amd64.whl
其中install后面为下载的whl文件的完整路径名
安装完成后，以管理员身份次运行：pip install scrapy 即可成功。
4、报error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
这时需要安装 Microsoft Visual build tools，但是错误提示里的链接访问时会报404。这时我们就需要另辟蹊径了。build tools 下载链接： https://go.microsoft.com/fwlink/?LinkId=691126
5、报No module named 'win32api'
解决方法：
pip install pywin32
如果网速不行，可登录：https://pypi.org/project/pywin32/#files，进行下载
6、报SSLError，证书没有认证
可以通过以下命令解决
pip –trusted-host pypi.python.org install scrapy但是使用这个命令可能会失败，系统会提示没有 -t 这个命令，那么我们还可以通过安装国内的镜像来解决
pip install scrapy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com