1.命令行窗口的当前路径不在scrapy工程目录中,需要先进入scrapy工程目录,不一定要工程根目录,下一级子目录也可以
2.执行命令"scrapy crawl fileName"时,不要加.py后缀(本人就是加了后缀,一直错误)
正确:scrapy crawl fileName
错误:scrapy crawl fileName .py
.
.
补充:scrapy有2个命令可以运行spider: crawl命令 和 runspider命令
例如:scrapy_project/spiders/jd_price.py 运行此处的jd_price.py
使用区别:
1> crawl命令==不需要.py后缀 ==
scrapy crawl jd_price
2> runspider命令需要.py后缀
scrapy crawl jd_price.py
、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、、
根据自己的项目,找到spiders目录下自己的spider
scrapy_project/spiders/jd_price.py
形如的文件,其中有类似于:
class spider(xxxxSpider):
name=“yourRealNameSipder”
的代码,其中的yourRealNameSipder,才是爬虫的名字,然后运行:
scrapy crawl yourRealNameSipder