Python3爬虫（2）xpath模块代替re正则模块的使用

前言

最近学习了一下python3.5中爬虫的原理套路！

之前写demo的时候，获取html源码后一直在使用python自带的re模块来用正则表达式匹配数据。

不得不说！正则很强大！(强大的.*?，笑)，各种复杂的情况下都可以匹配的到，但是写法非常灵活，每个人的思维模式不一样，写出来也就不一样，对于没有接触过正则表达的同学来说，学习成本还是需要一写的！

所以今天来说一下对于我这种正则小白的福音！python下提供的一个基于正则的模块，xpath，使用节点的概念来匹配你所获取到的页面源码！超级好用！

[xpath菜鸟教程学习传送门]:点击打开链接

今天用xpath写了一发get 58同城租房信息的demo,下面附上流程和code

A.实现思路

58同城首页->租房->北京出租

首先我们得到的是一个这样的页面

点进去之后得到这样一个页面

那么我们爬取信息的套路就可以初步确定下来了！

1.首先在房源信息列表页面循环分页获取到每篇独立的房源帖子url，也就是a标签中的href。

2.接着我们需要循环向这些帖子的url发起网络请求(使用requests模块或自带urllib模块都可以啦~)获取每篇帖子的html源码

3.获取每篇帖子的源码后！我们就可以分析源码的结构，然后使用xpath(代码中实际引用的是lxml这个文件)进行匹配数据，获取到我们需要的信息了！

4.获取每个房源的信息，并把图片都存储下来！

B.获取到的数据

1.房源json信息

2.房源图片的存储

C.实现代码

from urllib import request
#lxml就是xpath的模块
from lxml import etree
import requests,json,time

#爬取一级列表网页信息
def get_pages(page_num):
    #确认目标
    target = 'http://bj.58.com/chuzu/?PGTID=0d3090a7-0000-1299-6863-0094cd8364e7&ClickID={}'.format(page_num)
    #发起网络请求
    response = requests.get(target)
    response.encoding = 'utf-8'
    #获取html源码
    html = response.text

    #使用lxml进行数据匹配
    html = etree.HTML(html)

    #获取房源信息，进入单个帖子的url
    url_lists = html.xpath('//div[@class="listBox"]//h2//@href')

    for url in url_lists:
        get_page_info(url)
        time.sleep(2)

#爬取二级详情页面信息
def get_page_info(url):
    response = requests.get(url)
    response.encoding = 'utf-8'
    page_code = response.text

    #储存房源信息dict house_info
    house_info = {}
    html = etree.HTML(page_code)

    #房源信息标题
    title = html.xpath('//div[@class="house-title"]/h1/text()')
    if title:
        house_info['title'] = title[0]
    #月租
    pay_month = html.xpath('//div[@class="house-pay-way f16"]//b/text()')
    if pay_month:
        house_info['pay_month'] = pay_month[0]
    #租赁方式
    pay_type = html.xpath('//ul[@class="f14"]/li[1]/span[2]/text()')
    if pay_type:
        house_info['pay_type'] = pay_type[0]
    #房屋类型
    house_type = html.xpath('//ul[@class="f14"]/li[2]/span[2]/text()')
    if house_type:
        house_info['house_type'] = house_type[0].strip()
    #朝向楼层
    house_dxnb = html.xpath('//ul[@class="f14"]/li[3]/span[2]/text()')
    if house_dxnb:
        house_info['house_dxnb'] = house_dxnb[0]
    #所属区域
    house_location = html.xpath('//ul[@class="f14"]/li[4]/span[2]/text()')
    if house_location:
        house_info['house_location'] = house_location[0]
    #详细地址
    house_adress = html.xpath('//ul[@class="f14"]/li[6]/span[2]/text()')
    if house_adress:
        house_info['house_adress'] = house_adress[0].strip()
    #销售员名称
    agent_name = html.xpath('//p[@class="agent-name f16 pr"]//text()')
    if agent_name:
        house_info['agent_name'] = agent_name[0].strip()
    #销售员电话
    agent_phone = html.xpath('//span[@class="house-chat-txt"]/text()')
    if agent_phone:
        house_info['agent_phone'] = agent_phone[0]
    #房屋特点
    house_special = html.xpath('//ul[@class="introduce-item"]/li[1]//span[2]/em/text()')
    if house_special:
        house_info['house_special'] = house_special
    #房源描述
    house_des = html.xpath('//ul[@class="introduce-item"]/li[2]//p/span/text()')
    if house_des:
        house_info['house_des'] = house_des
    #房屋描述图片
    pic_urls = html.xpath('//ul[@id="housePicList"]/li/img/@lazy_src')

    #循环截取出图片的名称
    img_list = []
    for url in pic_urls:
        first_url = url.split('?')
        pic_name = first_url[0].split('/')[-1] + '.jpg'
        img_list.append(pic_name)

        #图片名称存入house_info中
        house_info['house_imgs'] = img_list

        #下载图片
        request.urlretrieve(url,'./images/'+ pic_name)

    with open('./house.json','a',encoding='utf-8') as f:
        #json.dumps()-> dict转json
        f.write(json.dumps(house_info,ensure_ascii=False) + '\n')


    #打印结果
    print(house_info)

if __name__ == '__main__':
    #循环页数
    for page_num in range(1,2):
        get_pages(page_num)

D.注意事项

1.demo中只爬取了一页的房源信息，如需更改请修改主进程中的for in循环range值

2.如果有使用fiddler或者Charless这样抓包工具的同学，在跑demo的时候请先关闭一下，否则会报一个http error 504的错误

[http error 504 大神错误解决方案传送门]:点击打开链接