
一、概述:
在页面含有少量链接时,使用selector来提取信息就可以,但如果链接特别多时,就需要用LinkExtractor来提取。
二、LinkExtractor构造器的各个参数:
1、allow 接收一个正则表达式或一个正则表达式列表,提取绝对url与正则表达式匹配的链接,如果改参数为空,就提取全部的链接。
2、deny 与allow刚好相反,排除绝对URL与正则表达式相匹配的链接。
3、allow_domains 接收一个域名或一个域名列表,提取到指定域的链接
4、deny_domains 与3相反。
5、restrict_xpaths 接受一个xpath表达式或者一个xpath表达式列表,提取xpath表达式选中的区域下的链接。
6、restrict_css 接收一个css选择器或者是一个css选择器列表,提取css选择器选中区域下的链接。
7、tags 接收一个标签或者标签列表,提取指定标签内的链接。
8、attrs 接收一个属性或一个属性类表,提取指定属性内的连接。
三、如何导出数据:
scrapy crawl spidername -t datatype -o filepath