Python爬虫Scrapy框架入门（2）

时间：2022-05-19 16:14:56

本文是跟着大神博客，尝试从网站上爬一堆东西，一堆你懂得的东西

附上原创链接：

http://www.cnblogs.com/qiyeboy/p/5428240.html

基本思路是，查看网页元素，填写xpath表达式，获取信息。自动爬取策略是，找到翻页网页元素，获取新链接地址，执行翻页。网页分析部分不再赘述，原博讲的很好很清楚，很涨姿势

基于拿来主义，我们只需要知道怎么更改Scrapy框架就行了~

items.py:

import scrapy

class TestprojItem(scrapy.Item):

    image_urls = scrapy.Field();

由于仅关注图片信息，所以这里item只定义了一个元素。

spider.py:

class FirstSpider(scrapy.Spider):

    name = "jiandan"

    allowed_domains = ["http://jiandan.net/ooxx"]

    new_url = None

    start_urls = [

        "http://jiandan.net/ooxx"

    ]

    def parse(self, response):

        item = TestprojItem()

        item['image_urls'] = response.xpath('//img//@src').extract()

        #print "extracting..." + ''.join(item['image_urls'])

        yield item

        self.new_url = response.xpath('//a[@class="previous-comment-page"]//@href').extract_first()

        print 'new_url:\t' + self.new_url

        if self.new_url:

            self.start_urls.append(self.new_url)

            yield scrapy.Request(self.new_url, callback=self.parse, dont_filter=True)

回顾并强调一下本次任务的目标：简单上的妹子图片！

上面是我自己修改的代码，可能allowed_domains字段设置有问题，每次重新爬取的时候会被认为是非法，所以在代码最后一行加了个 dont_filter=True.

parse: 对爬取页面进行解析。其中，new_url是获取翻页请求地址，然后在最后一行scrapy.Request重新请求。

pipelines.py:

# -*- coding: utf-8 -*-

# Define your item pipelines here

#

# Don't forget to add your pipeline to the ITEM_PIPELINES setting

# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

import os

import urllib

from testProj import settings

class TestprojPipeline(object):

    def process_item(self, item, spider):

        dir_path = '%s%s' % (settings.IMAGES_STORE, spider.name)

        print 'dir_path:', dir_path

        if not os.path.exists(dir_path):

            os.makedirs(dir_path)

        for image_url in item['image_urls']:

            list_name = image_url.split('/')

            file_name = list_name[len(list_name)-1]

            file_path = '%s%s'%(dir_path, file_name)

            if os.path.exists(file_name):

                continue

            with open(file_path, 'wb') as fw:

                conn = urllib.urlopen(image_url)

                fw.write(conn.read())

            fw.close()

        return item

对爬取的元素进行处理。本文直接放到某个本地文件夹中，所以最后有文件读写。

其中settings.IMAGES_STORE需要进入settings进行设置。另外，settings中的 ITEM_PIPLINES字段取消掉注释。

OK，基本完成。切入cmd， scrapy crawl jiandan　　瞬间完成，进入文件夹，什么也没有啊？查看cmd输出信息

Python爬虫Scrapy框架入门（2）

重定位到一个奇怪的url， 打开来看

Python爬虫Scrapy框架入门（2）

我是小白，原来这就是被网站ban了。很多网站有反爬虫设置。如何突破？基本策略有以下几点：

好几条看不懂。我自己研究。浏览器再次打开简单网，能打开。说明需要伪装成浏览器想服务器发送请求。

工程下新建 middlewares.py文件，代码如下：

import random

class RandomUserAgent(object):

    def __init__(self, agents):

        self.agents = agents

    @classmethod

    def from_crawler(cls, crawler):

        print 'in from crawler'

        return cls(crawler.settings.getlist('USER_AGENTS'))

    def process_request(self, request, spider):

        print 'in process request'

        request.headers.setdefault('User-Agent', random.choice(self.agents))

settings.py中做相应修改：

USER_AGENTS = [

    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",

    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",

    #中间还有很多，这里省略了

    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",

    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"

]

COOKIES_ENABLED = False

DOWNLOADER_MIDDLEWARES = {

    'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware' : None,

    'testProj.middlewares.RandomUserAgent': 100

}

这里 DOWNLOADER_MIDDLEWARES 字段的修改很重要，它相当于是定位到之前写的middlewares.py文件。注意一下，我是吧middlewares.py文件放在testProj项目根目录下，和items.py之类在一起，才这样写，如果其他目录，可能需要改变名称。（但是我放在testProj/middlewares/middlewares.py，setting里面写 testProj.middlewares.middlewares.RandomUserAgent依旧没用，不知道为什么，调了很久）

OK。大致完成

但是我发现下载了大概2000张图片之后又下不动了，整个Scrapy就卡在那儿，也不输出日志，不清楚什么原因，可能是需要加入ip代理，下次再来研究吧。

相关文章