糗事百科scrapy爬虫笔记
1.response是一个'scrapy.http.response.html.HtmlResponse'对象,可以执行xpath,css语法来提取数据
2.提取出来的数据,是一个'Selector'或者是一个'SelectorList'对象,如果想要获取其中的字符串,那么应该执行'getall'或者'get'方法
3.getall方法,获取'Selector'中的所有文本,返回的是一个列表
4.get方法,获取的是'Selector'中的第一个文本,返回的是一个str类型
5.如果数据解析回来,要传给pipelines处理,那么可以使用'yield'来返回;如果不使用yield,则要创建一个列表存储数据,最后返回这个列表
6.item:建议在'items.py'中定义好模型,以后就不要使用字典
7.pipelines:这个是专门用来存储数据的,其中有三个方法常用:
'open_spider(self, spider)':当爬虫打开时执行
'process_item(self, item, spider)':当爬虫有item传过来的时候会被调用
'close_spider(self, spider)':当爬虫关闭的时候调用
要激活pipelines,在'settings.py' 68行