scrapy异步的爬虫框架简单的使用

scrapy异步的爬虫框架

异步的爬虫框架

高性能的数据解析，持久化存储，全栈数据的爬取，中间件，分布式
框架：就是一个集成好了各种功能且具有很强通用性的一个项目模板。
环境安装：

Linux：

  pip3 install scrapy

　　Windows：

  1. pip3 install wheel

  2. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

  3. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

  4. pip3 install pywin32

  5. pip3 install scrapy

基本使用
新建一个工程：

前提需要将Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl这个文件放在项目目录下
```
# 在终端中执行下面这个命令

scrapy startporject + “项目名”
```
- settings.py:当前工程的配置文件
- spiders：爬虫包，必须要存放一个或者多个爬虫文件（.py）
进入项目
```
# 在终端中执行

cd + 项目名
```

创建一个爬虫文件：

# 在终端中执行：

scrapy genspider spiderName www.xxx.com

# 命令解析：

scrapy genspider 爬虫文件名 url

# 这个url是必写的，不写无法创建文件，可以随意些，最后在文件中修改

scrapy异步的爬虫框架简单的使用

执行工程：

# 在终端中执行下面的命令：

scrapy crawl spiderName

# 执行命令scrapy crawl 加爬虫文件名

在sttings文件中需要配置的：

settings.py:

- 不遵从robots协议

	如果选择不遵循robots协议的就修改文件中的

    ROBOTSTXT_OBEY = False   # 将True改为False

- UA伪装

	将UA伪装的数据加载文件中

- 指定日志输出的类型：

	将 LOG_LEVEL = 'ERROR' 添加到配置文件中

爬虫文件中：

# -*- coding: utf-8 -*-

import scrapy

class SecondSpidersSpider(scrapy.Spider):

    name = 'second_spiders'

    #允许的域名

    allowed_domains = ['www.123.com']

    #起始的url列表：列表元素只可以是url

    #作用：列表元素表示的url就会被进行请求发送

    start_urls = ['http://duanziwang.com/category/%E7%BB%8F%E5%85%B8%E6%AE%B5%E5%AD%90/']

    def parse(self, response):

        all_data = []

        article_list = response.xpath('/html/body/section/div/div/main/article')

        for article in article_list:

            # xpath在进行数据提取时，返回的不再是字符串而是一个Selector对象，想要的数据被包含在了该对象的data参数中

            title = article.xpath('./div[1]/h1/a/text()').extract_first()

            content = article.xpath('./div[2]//text()').extract()

            content = ''.join(content)

            dic = {

                'title': title,

                'content': content

            }

            all_data.append(dic)

        return all_data  # 将解析到的数据进行了返回

数据解析：
- 1.response.xpath('xpath表达式')
- 2.scrapy中的xpath解析，在进行数据提取的时候，xpath方法返回的列表中存储的不再是字符串，
  
  而是存储的Selector对象，相关的字符串数据是存储在Selector对象的data参数中，我们必须使用
  
  extract()/extract_first()进行字符串数据的提取
- extract()：可以作用到列表中的每一个列表元素中，返回的依然是一个列表
- extract_first()：只可以作用到列表中的第一个列表元素中，返回的是字符串
持久化存储
- 基于终端指令的持久化存储
  - 只可以将parse方法的返回值存储到指定后缀的文本文件中。
  - scrapy crawl spiderName -o ./duanzi.csv
- 基于管道的持久化存储

秒客网

scrapy异步的爬虫框架简单的使用

scrapy异步的爬虫框架

异步的爬虫框架

相关文章