0、准备工作

安装scrapy，在cmd中输入命令（windows）即可完成：pipinstall scrapy

1、scrapy项目结构

建立scrapy项目，在cmd中输入命令（windows）：scrapystart project tutorial。项目的目录结构如下。

tutorial/

scrapy.cfg

tutorial/

__init__.py

items.py

pipelines.py

settings.py

spiders/

__init__.py

myspider.py

一般来说，要完成一个能用的scrapy爬虫，需要编写或者配置的文件包括myspider.py、settings.py、item.py和pipeline.py。其中myspider.py在spider目录下，是核心的爬虫文件；settings.py用来配置爬取时间间隔等参数；item.py用来定义数据提取的项目；pipeline.py和item.py配合使用，用来辅助完成爬取数据的格式化输出。

2、编写spider.py

spider文件可以自行命名，此处的爬虫文件名为dmoz_spider.py。该文件定义了爬虫名称、目标网址、执行函数等。以下是spider代码示例，它定义了爬虫名称name，允许运行域allowed_domain，起始爬取页面网址start_urls，parse(self, response)是spider必须实现的接口，负责提取页面中title、href和desc等属性，详细内容可参考以下代码注释。

# -*- coding:utf-8 -*-

import scrapy

from tutorial.itemsimport DmozItem

classDmozSpider(scrapy.Spider):

    name = 'dmoz' #爬虫名，供命令scrapycrawl domz使用

    allowed_domain = 'dmoz.org' #允许爬虫运行的域

    start_urls =['http://www.dmoz.org/Computers/Programming/Languages/Python/Books/',

    'http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/']#爬取url

    def parse(self, response): #页面解析函数，这里必须为parse()

        for sel in response.xpath('//ul/li'):

            item = DmozItem() #在items.py中定义的需解析项目

            item['title'] =sel.xpath('a/text()').extract() #使用xpath提取特定属性

            item['href'] =sel.xpath('a/@href').extract()

            item['desc'] =sel.xpath('text()').extract()

            yield item

3、编写item.py

应该引起注意的是：item.py和dmoz_spider.py是相互关联的；Item.py中定义的title、link和desc，在dmoz_spider.py中将会用到。

# -*- coding:utf-8 -*-

# 定义爬取对象属性

import scrapy

classDmozItem(scrapy.Item):

    title = scrapy.Field()

    link = scrapy.Field()

    desc = scrapy.Field()

pass

4、编写pipelines.py

pipelines是scrapy提供的数据导出手段之一，通过pipelines可以进行复杂的数据导出操作，包括将数据导出到json文件或者数据库。pipelines.py中必须实现process_item(self, item, spider)接口，用于处理需要保存的item数据，其中spider为所定义的爬虫dmoz。

pipelines.py代码见下文，其中技术要点有：

1）使用codecs.open()以给定的模式mode和编码encoding打开文件，文件不存在时则新建。

2）使用json.dumps()将dict转化为json格式的字符串，如果ensure_ascii设为False，则返回值将会是Unicode格式。

import json

import codecs

#写pipeline时需要注意编码问题的处理

class dmozPipeline(object):

    def __init__(self):

        self.file = codecs.open('dmoz.json', mode='wb',encoding='utf-8')

    def process_item(self, item, spider):

        line = json.dumps(dict(item), ensure_ascii=False)+'\n'# ensure_ascii=False很重要

        self.file.write(line)

        return item

    def close_spider(self,spider):

        self.file.close()

补充：另一种替代的数据导出方式是：在cmd中运行scrapycrawl dmoz –o abc.json，其中abc.json为导出文件。采用该方式无需配置pipeline，因为程序执行过程中不会用到。

5、设置Settings.py

通过settings告知spider将启用pipeline，其余用默认设置就好了。

ITEM_PIPELINES = {

    'tutorial.pipelines.dmozPipeline': 300,

}

6、运行spider项目

在cmd中运行scrapycrawl dmoz，可以将爬取的所有结果以json格式导出到名为dmoz.json的文件中，文件名可以在pipeline.py中修改。

至此，一个完整的scrapy爬虫项目就算完成了。

秒客网

爬虫系列2：scrapy项目入门案例分析