今天突然想起来，学了那么久的爬虫，scrapy被忽视很久了，所以想起来去认真学习下。
第一步安装模块就出现了问题，先是用的python2 进行pip安装。
但是报错说要什么 MICROSOFT VISUAL C++ 9.0 IS REQUIRED 。
这里找到一个解决方案:
进入错误提示给出的网址，下载安装，重新pip install scrapy 。安装成功
打开http://aka.ms/vcpython27会跳转到
http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266
将安装包下载
Microsoft Visual C++ Compiler for Python 2.7
运行安装
scrapy 现在也支持python3 了，因为我安装了python3,所以就再次用pip install scrapy。
这里的报错是 MICROSOFT VISUAL C++ 14.0...(没记错应该是的)
但是给出的网址已经失效了。正好在另外一篇博客找到了可行的解决方案：
进入一下的网站下载对应版本的twisted文件
下载之后将文件放入对应的python安装目录的Scripts目录下
打开命令行，进入Scripts 目录
输入：
pip install +（之前下载的文件全名）
会提示Twisted安装成功，再次尝试 pip install scrapy
没有再报错，安装成功。