Item Pipeline
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。
每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用：
- 验证爬取的数据(检查item包含某些字段，比如说name字段)
- 查重(并丢弃)
- 将爬取结果保存到文件或者数据库中
编写item pipeline
编写item pipeline很简单，item pipiline组件是一个独立的Python类，其中process_item()方法必须实现
1 2
3 class SomethingPipeline(object):
4 def __init__(self):
5 # 可选实现，做参数初始化等
6 # doing something
7
8 def process_item(self, item, spider):
9 # item (Item 对象) – 被爬取的item
10 # spider (Spider 对象) – 爬取该item的spider
11 # 这个方法必须实现，每个item pipeline组件都需要调用该方法，
12 # 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。
13 return item
14
15 def open_spider(self, spider):
16 # spider (Spider 对象) – 被开启的spider
17 # 可选实现，当spider被开启时，这个方法被调用。
18
19 def close_spider(self, spider):
20 # spider (Spider 对象) – 被关闭的spider
21 # 可选实现，当spider被关闭时，这个方法被调用
启用一个Item Pipeline组件
为了启用Item Pipeline组件，必须将它的类添加到 settings.py文件ITEM_PIPELINES 配置，就像下面这个例子:
1 # See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
2 ITEM_PIPELINES = {
3 #'mySpider.pipelines.SomePipeline': 300,
4 "mySpider.pipelines.ItcastJsonPipeline":300
5 }
分配给每个类的整型值，确定了他们运行的顺序，item按数字从低到高的顺序，通过pipeline，通常将这些数字定义在0-1000范围内（0-1000随意设置，数值越低，组件的优先级越高）。
Spider
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。
__init__() : 初始化爬虫名字和start_urls列表
start_requests() 调用make_requests_from url():生成Requests对象交给Scrapy下载并返回response
parse() : 解析response，并返回Item或Requests（需指定回调函数）。Item传给Item pipline持久化 ， 而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。
1 # -*- coding: utf-8 -*-
2 import scrapy
3
4
5 class BaiduSpider(scrapy.Spider):
6 name = 'baidu'
7 allowed_domains = ['baidu.com']
8 start_urls = ['http://baidu.com/']
9
10 def parse(self, response):
11 pass
源码：
1 class Spider(object_ref): 2 """Base class for scrapy spiders. All spiders must inherit from this
3 class.
4 """
5 # 定义spider名字的字符串(string)。spider的名字定义了Scrapy如何定位(并初始化)spider，所以其必须是唯一的。
6 # name是spider最重要的属性，而且是必须的。
7 # 一般做法是以该网站(domain)(加或不加 后缀 )来命名spider。
8
9 name = None
10 custom_settings = None
11
12 # 初始化，提取爬虫名字，start_ruls
13 def __init__(self, name=None, **kwargs):
14 if name is not None:
15 self.name = name
16 # 如果爬虫没有名字，中断后续操作则报错
17 elif not getattr(self, 'name', None):
18 raise ValueError("%s must have a name" % type(self).__name__)
19
20 # python 对象或类型通过内置成员__dict__来存储成员信息
21 self.__dict__.update(kwargs)
22
23 # URL列表。当没有指定的URL时，spider将从该列表中开始进行爬取。 因此，第一个被获取到的页面的URL将是该列表之一。 后续的URL将会从获取到的数据中提取。
24 if not hasattr(self, 'start_urls'):
25 self.start_urls = []
26
27 @property
28 def logger(self):
29 logger = logging.getLogger(self.name)
30 return logging.LoggerAdapter(logger, {'spider': self})
31
32 #打印Scrapy执行后的log信息
33 def log(self, message, level=logging.DEBUG, **kw):
34 """Log the given message at the given log level
35
36 This helper wraps a log call to the logger within the spider, but you
37 can use it directly (e.g. Spider.logger.info('msg')) or use any other
38 Python logger too.
39 """
40 self.logger.log(level, message, **kw)
41
42 @classmethod
43 def from_crawler(cls, crawler, *args, **kwargs):
44 spider = cls(*args, **kwargs)
45 spider._set_crawler(crawler)
46 return spider
47
48 # 判断对象object的属性是否存在，不存在做断言处理
49 def set_crawler(self, crawler):
50 warnings.warn("set_crawler is deprecated, instantiate and bound the "
51 "spider to this crawler with from_crawler method "
52 "instead.",
53 category=ScrapyDeprecationWarning, stacklevel=2)
54 assert not hasattr(self, 'crawler'), "Spider already bounded to a " \
55 "crawler"
56 self._set_crawler(crawler)
57
58 def _set_crawler(self, crawler):
59 self.crawler = crawler
60 self.settings = crawler.settings
61 crawler.signals.connect(self.close, signals.spider_closed)
62
63 # 该方法将读取start_urls内的地址，并为每一个地址生成一个Request对象，交给Scrapy下载并返回Response
64 def start_requests(self):
65 cls = self.__class__
66 if method_is_overridden(cls, Spider, 'make_requests_from_url'):
67 warnings.warn(
68 "Spider.make_requests_from_url method is deprecated; it "
69 "won't be called in future Scrapy releases. Please "
70 "override Spider.start_requests method instead (see %s.%s)." % (
71 cls.__module__, cls.__name__
72 ),
73 )
74 for url in self.start_urls:
75 yield self.make_requests_from_url(url)
76 else:
77 for url in self.start_urls:
78 yield Request(url, dont_filter=True)
79
80 # start_requests()中调用，实际生成Request的函数。
81 # Request对象默认的回调函数为parse()，提交的方式为get
82 def make_requests_from_url(self, url):
83 """ This method is deprecated. """
84 return Request(url, dont_filter=True)
85
86 # 默认的Request对象回调函数，处理返回的response。
87 # 生成Item或者Request对象。用户必须实现这个类
88 def parse(self, response):
89 raise NotImplementedError('{}.parse callback is not defined'.format(self.__class__.__name__))
90
91
92 @classmethod
93 def update_settings(cls, settings):
94 settings.setdict(cls.custom_settings or {}, priority='spider')
95
96 @classmethod
97 def handles_request(cls, request):
98 return url_is_from_spider(request.url, cls)
99
100 @staticmethod
101 def close(spider, reason):
102 closed = getattr(spider, 'closed', None)
103 if callable(closed):
104 return closed(reason)
105
106 def __str__(self):
107 return "<%s %r at 0x%0x>" % (type(self).__name__, self.name, id(self))
108
109 __repr__ = __str__
每天 一个小实例：（我取得是图片和图片名）
1 items.py
2
3
4 # -*- coding: utf-8 -*-
5
6 # Define here the models for your scraped items
7 #
8 # See documentation in:
9 # https://doc.scrapy.org/en/latest/topics/items.html
10
11 import scrapy
12
13 '''Item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。
14
15 可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item（可以理解成类似于ORM的映射关系）。'''
16 class MyspiderItem(scrapy.Item):
17 # define the fields for your item here like:
18 img_name = scrapy.Field()
19 img_url = scrapy.Field()
1 xiaohua.py
2
3
4 # -*- coding: utf-8 -*-
5 import scrapy
6 from myspider.items import MyspiderItem
7
8 class BaisiSpider(scrapy.Spider):
9 name = 'xiaohua'
10 allowed_domains = ['www.521609.com']
11 start_urls = ['http://www.521609.com/daxuexiaohua/list31.html']
12 # page = 31
13 def parse(self, response):
14
15 # 将我们得到的数据封装到一个 `MyspiderItem` 对象
16 item = MyspiderItem()
17
18 #提取数据
19 img_list = response.xpath('//div[@class="index_img list_center"]/ul/li')
20 for img in img_list:
21 img_name = img.xpath('./a/img/@alt')[0].extract()
22 img_url = img.xpath('./a/img/@src')[0].extract()
23 item['img_name'] = img_name
24 item['img_url'] = img_url
25
26 # 将获取的数据交给pipelines
27 yield item
28
29 # if self.page < 35:
30 # self.page += 1
31 # curpage_url = 'http://www.521609.com/daxuexiaohua/list' + str(self.page) + '.html'
32 #
33 # # 发送新的url请求加入待爬队列，并调用回调函数 self.parse
34 # yield scrapy.Request(curpage_url, callback=self.parse)
1 pipelines.py
2
3
4 # -*- coding: utf-8 -*-
5
6 # Define your item pipelines here
7 #
8 # Don't forget to add your pipeline to the ITEM_PIPELINES setting
9 # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
10 import urllib.request
11 import os
12 class BaiSispiderPipeline():
13
14 def process_item(self, item, spider):
15 base_url = 'http://www.521609.com'
16 file_name = item['img_name'] + '.png'
17 file_path = os.path.join("F:\\myspider\\myspider\\imgs", file_name)
18 if item['img_url']:
19 urllib.request.urlretrieve(base_url + item['img_url'],file_path)
20 # with open(file_path, 'wb') as file:
21 # # 2. 获取图片里的内容
22 # images = requests.get(base_url + item['img_url'])
23 #
24 # # 3. 调用文件对象write() 方法，将page_html的内容写入到文件里
25 # file.write(images.content)
26 return item
结果：
