scrapy --help 列出帮助信息以及常用命令
scrapy version 列出scrapy版本
scrapy version -v 列出详细的scrapy版本以及各组件信息
scrapy startproject projectname 创建项目
cd projectname 切换到项目目录下
scrapy genspider baidu.com www.baidu.com 创建爬虫
scrapy crawl baidu.com 运行爬虫
scrapy check 检查当前爬虫语法
scrapy list 返回当前目录下spider的名称
scrapy fetch 相当于requests.get,用于请求网页
scrape view www.baidu.com 请求网页并且保存成文件,然后用浏览器打开
scrapy shell +网址 打开shell及时交互response为请求响应,可以进行调试
scrapy parse + url 解析网页
scrape settings 获取配置信息
scrapy bench测试爬取速度