创建项目
scrapy startprogect demo
创建爬虫
scrapy genspider myDomain madomian.com
直接创建文件也可以
运行爬虫
scrapy crawl myDomain
或者使用py文件运行
from scrapy import cmdline
# 方式一：注意execute的参数类型为一个列表
cmdline.execute('scrapy crawl spidername'.split())
# 方式二:注意execute的参数类型为一个列表
cmdline.execute(['scrapy', 'crawl', 'spidername'])
以上是简单的一个爬虫的操作流程
如何使用爬虫
初始爬虫有两种方案
1,start_urls = ['http://www.2717.com/']
2,start_request(response) 方法
默认情况下他们都会调用parse() 方法