scrapy xxcommand:输出xxcommand的相关信息
help:scrapy的基本命令,用于查看帮助信息
version:查看版本信息,可见-V参数查看各组件的版本信息;
startproject用于新建一个工程
genspider:在工程中产生一个spider,可产生多个spider,不同的spider要求name不同。
list:此工程中都有哪些spider
view:查看页面源码在浏览器中显示的样子
会儿在浏览器中自动打开sina的首页,但是偶尔测试别的网址的时候,有打不开的情况,目前不知原因。
此函数可用来判断你要处理的某个页面,时候有你想要的内容
parse:使用在工程中定义的parse函数解析某个页面
此函数用来判断你所使用的parse函数功能是否正确
shell:一个非常有用的命令,可用于调试数据、检测xpath、查看网页源码,等等。
必须回退到project's top level directory,enclose urls in quotes,必须用双引号将url括号起来。
runspider:运行自包含的爬虫
scrapy runspider xxxxspider.py
bench:运行一个基准的测试
scrapy bench
安装完scrapy之后,测试scrapy时候安装成功