linux版本安装
- pip3 install scrapy
安装完成
windows版本安装
- pip install wheel
- 下载twisted，网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，选择好与系统对应的版本
- cmd切换到twisted文件目录，执行安装命令：pip3 install “twisted文件名”
- pip install pywin32
- pip install scrapy
安装完成
创建scrapy工程项目
1、cmd切换到准备创建的项目目录
2、执行创建命令：scrapy startproject 项目名称
ps:项目名称必须以字母开头，只能包含数字、字母、下划线
创建好后目录如下：
3、cmd目录切换至第四次层spiders，执行命令创建爬虫文件：scrapy genspider "爬虫文件名称" 将要爬取的url (这里的名称和url都可以创建好后更改，所以先简单创一个) ；
4、执行工程，启动爬虫项目：scrapy crawl "爬虫项目名称" （创建的爬虫文件类中的 name 属性值）
over,接下来逐步总结具体使用方式