爬虫系列二(数据清洗--->xpath解析数据)

时间：2022-06-22 05:06:01

一 xpath介绍

XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。

  • XPath 使用路径表达式在 XML 文档中进行导航
  • XPath 包含一个标准函数库
  • XPath 是 XSLT 中的主要元素
  • XPath 是一个 W3C 标准

二 xpath 术语

概念 解释 举例
基本值（或称原子值，Atomic value） 基本值是无父或无子的节点 J K. Rowling，"en"
项目（Item） 项目是基本值或者节点
节点关系-父（Parent） 每个元素以及属性都有一个父。 在上面的例子中，book 元素是 title、author、year 以及 price 元素的父：
节点关系-子（Children） 元素节点可有零个、一个或多个子。 在上面的例子中，title、author、year 以及 price 元素都是 book 元素的子：
节点关系-同胞（Sibling） 拥有相同的父的节点。 在上面的例子中，title、author、year 以及 price 元素都是同胞：
节点关系-先辈（Ancestor） 某节点的父、父的父，等等。 在上面的例子中，title 元素的先辈是 book 元素和 bookstore 元素。
后代（Descendant） 某个节点的子，子的子，等等。 在上面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素。

三 xpath术语

 
表达式 描述
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。

四 助力理解

路径表达式 结果
bookstore 选取 bookstore 元素的所有子节点。
/bookstore 选取根元素 bookstore。注释：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book 选取属于 bookstore 的子元素的所有 book 元素。
//book 选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book 选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang 选取名为 lang 的所有属性。
路径表达式 结果
/bookstore/book[1] 选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()] 选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1] 选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3] 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang] 选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang=’eng’] 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00] 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

以上摘抄：https://www.jianshu.com/p/62ba163c5be5

五 xapth解析数据实例----(二手房价)

'''
    xpath数据解析流程:
        1.pip install lxml
        2.导包:from lxml import etree
        3.实例化一个etree对象(将页面数据加载到该对象)
        4.调用etree中的xpath函数结合着xpath表达式进行数据解析操作     
'''

1 url

https://sz.58.com/ershoufang/

2 请求头

headers={

    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'

}

3 获取页面数据

page_text=requests.get(url=url,headers=headers).text

4 使用xpath解析数据

#1 实例化etree对象

tree=etree.HTML(page_text)

#2 写表达式定位到需要获取的房价信息

li_list=tree.xpath('//ul[@class="house-list-wrap"]/li') #获取房价的页面所有的li标签

fp=open('fangjia.txt','w',encoding='utf8')

for li in li_list:

    title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0] #获取房价描述的title

    price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')#获取房价描述的price

    price="".join(price)

    fp.write('\n'+title+":"+price)

fp.close()

注意:

　　xpath 解析的数据的返回值是一个列表.

完整代码

import requests

from lxml import etree

url=f'https://bj.58.com/ershoufang/pn1/'

headers={

    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.20 Safari/537.36'

}

page_text=requests.get(url=url,headers=headers).text

#实例化etree对象

tree=etree.HTML(page_text)

li_list=tree.xpath('//ul[@class="house-list-wrap"]/li')

fp=open('fangjia.txt','w',encoding='utf8')

for li in li_list:

    title=li.xpath('./div[@class="list-info"]/h2/a/text()')[0]

    price=li.xpath('./div[@class="price"]/p[@class="sum"]//text()')

    price="".join(price)

    fp.write('\n'+title+":"+price)

fp.close()

相关文章