解析后返回可迭代对象
- 这个对象返回以后就会被爬虫重新接收，然后进行迭代
- 通过scrapy crawl budejie -o xx.josn/xx.xml/xx.csv 将迭代数据输出到json、xml或者csv格式的外部文件中
- 如果管道开启，则每迭代一次数据就会将其输入到管道中（在settings文件中可以开启管道）
1. budejie.py 文件
def parse(self, response):
# 这个函数是解析函数，它是通过下载来回调，下载器下载完成一个url数据以后就会回调这个函数并且把下载的响应对象通过response参数传递过来
print(response)
# 解析response
contents = response.xpath("//div[@class='j-r-list']/ul/li") # scrapy中自带xpath和css两种解析方法
# print(contents)
for content in contents:
item = {}
item["author"] = content.xpath(".//a[@class='u-user-name']/text()").extract()[0]
# scrapy的xpath和css方法中返回出来的是一个Selector对象列表，我们需要用extract函数将内容从这个对象中提取出来
item["authorImg"] = content.xpath(".//img[@class='u-logo lazy']/@data-original").extract()[0]
item["content"] = content.xpath(".//div[@class='j-r-list-c-desc']/a/text()").extract()[0]
item["imgSrc"] = content.xpath(".//img[@class='lazy']/@data-original").extract()[0]
# print(item)
yield item # 每一个解析函数最后都要返回出去一个可迭代的对象
# 这个对象返回以后就会被爬虫重新接收，然后进行迭代
# 通过scrapy crawl budejie -o xx.josn/xx.xml/xx.csv 将迭代数据输出到json、xml或者csv格式的外部文件中
# 如果管道开启，则每迭代一次数据就会将其输入到管道中（在settings文件中可以开启管道）
开启管道，将迭代的对象传入管道
- 在setting.py 文件中开启管道（67--69行）
ITEM_PIPELINES = {
'MyFirstScrapy.pipelines.MyfirstscrapyPipeline': 300,
# settings文件中可以配置相关的组件，其中ITEM_PIPELINES就是其中的一种组件（即管道组件），管道组件的值是一个字典，代表可以设置多个值
# 字典中的一个键值对就代表着一个管道组件，键代表当前管道组件的位置，值代表当前管道组件的优先级（数字越小优先级越大）
# 数据会按照管道优先级，从高向低传递
'MyFirstScrapy.pipelines.CSVPipeline': 200
}
MyfirstscrapyPipeline 管道类
- 在pipelines.py 文件中 声明、设置管道类
class MyfirstscrapyPipeline(object):
# 这个类集成自一个普通类，但是如果我们把它加入到管道组件中就变成了一个管道类
# 一个管道类有以下三个生命周期函数
def open_spider(self,spider):
print("爬虫开启")
print("当前开启的爬虫为：",spider)
# 创建一个redis链接
self.rds = redis.StrictRedis(host="www.fanjianbo.com",port=6379,db=8)
def process_item(self, item, spider):
# 当爬虫解析完数据以后，这个方法去迭代返回到管道中数据
print("爬虫正在迭代数据...")
print("当前正在%s爬虫迭代的数据是：%s"%(spider,item))
# 向redis数据库中存入数据
self.rds.lpush("budejie",item)
return item
# 每迭代一次以后，一定将迭代过的数据return出去
def close_spider(self,spider):
print("爬虫%s关闭！"%spider)
# 声明一个管道类，用于写csv数据
class CSVPipeline(object):
def open_spider(self,spider):
# 打开csv文件
self.csvfile = open("data.csv","a+",newline='',encoding="utf-8")
self.writer = csv.writer(self.csvfile)
self.writer.writerow(["author","authorImg","content","imgSrc"])
def process_item(self,item,spider):
vals = []
for k,v in item.items():
vals.append(v)
self.writer.writerow(vals)
return item
# 如果优先级高的管道跌打完数据以后不返回出去，
# 这个数据就会销毁，后面的管道就无法使用该数据
def close_spider(self,spider):
self.csvfile.close()