ITEM PIPELINE用法详解：
ITEM PIPELINE作用：
- 清理HTML数据
- 验证爬取的数据(检查item包含某些字段)
- 去重(并丢弃)【预防数据去重，真正去重是在url,即请求阶段做】
- 将爬取结果保存到数据库中
ITEM PIPELINE核心方法（4个）
（1）、open_spider(spider)
（2）、close_spider(spider)
（3）、from_crawler(cls,crawler)
（4）、process_item(item,spider)
下面小伙伴们我们依次来分析：
1、open_spider(spider) 【参数spider 即被开启的Spider对象】
该方法非必需，在Spider开启时被调用，主要做一些初始化操作，如连接数据库等
2、close_spider(spider)【参数spider 即被关闭的Spider对象】
该方法非必需，在Spider关闭时被调用，主要做一些如关闭数据库连接等收尾性质的工作
3、from_crawler(cls,crawler)【参数一：Class类 参数二：crawler对象】
该方法非必需，Spider启用时调用，早于open_spider（）方法，是一个类方法，用@classmethod标识，它与__init__函有关，这里我们不详解（一般我们不对它进行修改）
4、process_item(item,spider)【参数一：被处理的Item对象 参数二：生成该Item的Spider对象】
该方法必需实现，定义的Item pipeline会默认调用该方法对Item进行处理，它返回Item类型的值或者抛出DropItem异常
实例分析（以下实例来自官网：https://doc.scrapy.org/en/latest/topics/item-pipeline.html）
from scrapy.exceptions import DropItem
class PricePipeline(object):
vat_factor = 1.15
def process_item(self, item, spider):
if item['price']:
if item['price_excludes_vat']:
item['price'] = item['price'] * self.vat_factor
return item
else:
raise DropItem("Missing price in %s" % item)
代码分析：
首先定义了一个PricePipeline类
定义了增值税税率因子为1.15
主函数process_item方法实现了如下功能：判断Item中的price字段，如没计算增值税，则乘以1.15，并返回Item，否则直接抛弃
总结：该方法要么return item给后边的管道处理，要么抛出异常
数据去重
from scrapy.exceptions import DropItem
class DuplicatesPipeline(object):
def __init__(self):
self.ids_seen = set()
def process_item(self, item, spider):
if item['id'] in self.ids_seen:
raise DropItem("Duplicate item found: %s" % item)
else:
self.ids_seen.add(item['id'])
return item
代码分析：
首先定义了一个DuplicatesPipeline类
这里比上面多了一个初始化函数__init__，set()---去重函数
主函数process_item方法首先判断item数据中的id是否重复，重复的就将其抛弃，否则就增加到id，然后传给下个管道
将数据写入文件
import json
class JsonWriterPipeline(object):
def open_spider(self, spider):
self.file = open('items.jl', 'w')
def close_spider(self, spider):
self.file.close()
def process_item(self, item, spider):
line = json.dumps(dict(item)) + "\n"
self.file.write(line)
return item
代码分析：
首先我们定义了一个JsonWritePipeline类
定义了三个函数：
first：open_spider（）在Spider开启时启用作用很简单即打开文件，准备写入数据
second：close_spider()在Spider关闭时启用作用也很简单即关闭文件
third(主要）：process_items()作用如下首先将item转换为字典类型，在用json.dumps()序列化为json字符串格式，再写入文件，最后返回修改的item给下一个管道
综合实例
import pymongo
class MongoPipeline(object):
collection_name = 'scrapy_items'
def __init__(self, mongo_uri, mongo_db):
self.mongo_uri = mongo_uri
self.mongo_db = mongo_db
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_uri=crawler.settings.get('MONGO_URI'),
mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
)
def open_spider(self, spider):
self.client = pymongo.MongoClient(self.mongo_uri)
self.db = self.client[self.mongo_db]
def close_spider(self, spider):
self.client.close()
def process_item(self, item, spider):
self.db[self.collection_name].insert(dict(item))
return item
代码分析：
首先我们定义了一个MongoPipeline类
这里我们修改了初始化函数__init__，给出了存储到Mongodb的链接地址和数据库名称所以更改了from_crawler()工厂函数函数（生产它的对象），这里指定了链接地址和数据表名称
最后我们定义了三个函数：
first:open_spider（）在Spider开启时启用作用是打开mongodb数据库
second:close_spider()在Spider关闭时启用作用是关闭数据库
third：process_items()作用如下在数据库中插入item
项目实战：（我们以58同城镇江房屋出租为例）抓取出租信息的标题、价格、详情页的url
我是在ubuntu16.04环境下跑的
启动终端并激活虚拟环境：source course_python3.5/bin/activate
创建一个新目录project：mkdir project
创建项目：scrapy startproject city58-----cd city58----创建爬虫（这里小伙伴们注意项目名不能与爬虫名重名）scrapy genspider city58_test
下面我们正式开始
（1）、修改items.py
（2）修改city58_test.py文件（这里我们使用pyquery选择器）
（3）、重点来了，修改pipelines.py文件，小伙伴们可参考上面的案例分析
（4）最后通过settings.py启动pipeline
这里向小伙伴们科普一个小知识点：后面的数字是优先级，数字越小，越优先执行
（5）项目运行结果(部分)----下次小伙伴们想了解出租信息可以找我，我帮你秒下。哈哈！
并且我们可以在同级目录下找到我们写入的文件
总结：
（1）、首先了解了管道的作用
（2）、掌握了核心的方法，其中特别是process_item()方法
（3）、最后我们通过实例和项目进行实战，后面我们会继续学习如何使用管道进行高级的操作，敬请期待，记得最后一定要在配置文件中开启Spider中间件