python抓取链家房源信息(三)

时间：2024-08-08 11:05:20

之前写过一个链家网北京二手房的数据抓取，然后本来今天想着要把所有的东西弄完，但是临时有事出去了一趟，耽搁了一下，然后现在是想着把北京的二手房的信息都进行抓取，并且存储在mongodb中，

首先是通过'https://bj.lianjia.com'的url将按照区域划分和地铁路线图进行划分的所有的url抓取出来进行存储，然后在进行下一步的分析，然后会每一套房源信息都会有一个data-housecode，标识是那一套房间，为了避免有重复的房源信息，在每套房的数据中将data-housecode，数据作为每一套房的标识，进行存储，然后在抓取到房源信息存储到mongodb中时，通过data-housecode进行判断，看当前房源是否已经存储完全，如果已经存储了，则不必插入，否则将该房源信息插入到mongodb中。

用的还是scrapy框架，然后只是在spider.py中添加了按照区和地铁路线图的所有的房源信息，当然根据区域和地铁还可以分的更细。。。

大致的爬虫的框架是：

python抓取链家房源信息(三)

在scrapy框架中，使用过程是，在spider.py中，将要获取的url请求给scheduler，然后通过download模块进行Request下载数据，如果下载失败，会将结果告诉scrapy engine，然后scrapy engine会稍后进行重新请求，然后download将下载的数据给spider，spider进行数据处理，抓取需要保存的按照地铁路线或者是区域的url，然后跟进url，将个个不同的url进行告诉scrapy engine，然后又通过相同的远离然后进行抓取，然后存储每个房源的标识和条件情况，然后将处理结果返回给item，通过item进行mongodb的存储。

scrapy.py中的代码如下：

#-*-coding:utf-8-*-

import scrapy

import re

from bs4 import BeautifulSoup

import  time

import json

from scrapy.http import Request

from House.items import HouseItem

import lxml.html

from lxml import etree

class spider(scrapy.Spider):

    name = 'House'

    url = 'https://bj.lianjia.com'

    base_url = 'https://bj.lianjia.com/ershoufang'

    def start_requests(self):

            print(self.base_url)

            yield Request(self.base_url,self.get_area_url,dont_filter=True)

    def get_area_url(self,response):

        selector = etree.HTML(response.text)

        results = selector.xpath('//dd/div/div/a/@href')

        for each in results:

            if 'lianjia' not in each:

                url = self.url + each

            else:

                url = each

            print(url)

            yield Request(url, self.get_total_page, dont_filter=True)

    def get_total_page(self,response):

        soup = BeautifulSoup(response.text, 'lxml')

        Total_page = soup.find_all('div', class_='page-box house-lst-page-box')

        res = r'<div .*? page-data=\'{\"totalPage\":(.*?),"curPage":.*?}\' page-url=".*?'

        total_num = re.findall(res, str(Total_page), re.S | re.M)

        for i in range(1, int(total_num[0])):

            print(i)

            url = response.url + 'pg' + str(i)

            print(url)

            yield Request(url, self.parse, dont_filter=True)

    def parse(self, response):

        soup = BeautifulSoup(response.text,'lxml')

        message1 = soup.find_all('div',class_ = 'houseInfo')

        message2 = soup.find_all('div',class_ = 'followInfo')

        message3 = soup.find_all('div',class_ = 'positionInfo')

        message4 = soup.find_all('div',class_ = 'title')

        message5 = soup.find_all('div',class_ = 'totalPrice')

        message6 = soup.find_all('div',class_ = 'unitPrice')

        message7 = soup.find_all(name='a', attrs={'class': 'img'})

        Flags = []

        for each in message7:

            Flags.append(each.get('data-housecode'))

        num = 0

        for flag,each,each1,each2,each3,each4,each5 in zip(Flags,message1,message2,message3,message4,message5,message6):

            List = each.get_text().split('|')

            item = HouseItem()

            item['flag'] = flag

            item['address'] = List[0].strip()

            item['house_type'] = List[1].strip()

            item['area'] = List[2].strip()

            item['toward'] = List[3].strip()

            item['decorate'] = List[4].strip()

            if len(List) == 5:

                item['elevate'] = 'None'

            else:

                item['elevate'] = List[5].strip()

            List = each1.get_text().split('/')

            item['interest'] = List[0].strip()

            item['watch'] = List[1].strip()

            item['publish'] = List[2].strip()

            List = each2.get_text().split('-')

            item['build'] = List[0].strip()

            item['local'] = List[1].strip()

            item['advantage'] = each3.get_text().strip()

            item['price'] = each4.get_text().strip()

            item['unit'] = each5.get_text().strip()

            print("%s %s %s %s %s %s %s %s %s %s %s %s %s %s %s "%(item['flag'],item['address'],item['house_type'],item['area'],item['toward'],

                                                         item['decorate'],item['elevate'],item['interest'],

                                                         item['watch'],item['publish'],item['build'],item['local'],item['advantage'],item['price'],item['unit']))

            num += 1

            yield item

相关文章