Python3编写网络爬虫07-基本解析库pyquery的使用

时间：2020-12-13 08:25:24

三、pyquery

简介：同样是一个强大的网页解析工具 它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便

安装：

pip install pyquery

验证：

import pyquery

初始化时 也需要传入HTML文本 初始化一个PyQuery对象 初始化方式有多种 例如直接传入字符串，传入URL，传入文件名等等。

1. 字符串初始化

示例：

html = '''

<div>

<ul>

<li class="item-0">first item</li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-1 active"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

'''

from pyquery import PyQuery as pq #引入PyQuery对象 取别名pq

doc = pq(html)#将html当作参数 传递给PyQuery类

print(doc('li'))#传入li节点 选择所有li节点

2. URL初始化

doc = pq(url='https://www.huawei.com/cn/?',encoding='utf-8')

print(doc('title'))

pyquery对象首先请求url 得到HTML内容完成初始化 相当于用网页源代码 字符串的形式传递给pyquery类来初始化

与下面的功能是一样的

from pyquery import PyQuery as pq

import requests

doc = pq(requests.get('https://www.huawei.com').text)

print(doc('title'))

3.文件初始化

doc = pq(filename='01.txt')

print(doc('li'))

最常见的还是字符串形式

4.基本CSS选择器

实例：

html = '''

<div id="container">

<ul class="list">

<li class="item-0">first item</li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-1 active"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

'''

from pyquery import PyQuery as pq

doc = pq(html)

print(doc('#container .list li'))#先选取 id 为container的节点 class为list的节点 所有li节点

print(type(doc('#container .list li')))#pyquery类型

5.查找节点

# 常用的查询函数 与jQuery中函数用法完全相同

5.1 find() 方法 查找所有子孙节点

doc = pq(html)

items = doc('.list')

print(type(items))#pyquery类型

print(items)#ul节点内容

lis = items.find('li')#调用find()方法 参数必选

print(type(lis))#类型为pyquery

print(lis)#所有的li节点内容

5.2 children() 查找子节点

lis = items.children()#参数可选 例如 .active li等 进行元素过滤

print(type(lis))#类型为pyquery

print(lis)#子节点li

5.3 parent() 获取某个节点的父节点

示例：

html = '''

<div class="wrap">

<div id="container">

<ul class="list">

<li class="item-0">first item</li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-1 active"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

'''

from pyquery import PyQuery as pq

doc = pq(html)

items = doc('.list')

container = items.parent()

print(type(container))

print(container)#返回id 为container的节点内容

5.4 parents() 获取某个节点的所有祖先节点

items = doc('.list')

parents = items.parents()

print(parents)#没有给参数 所以会遍历上一层级 传递css参数 可筛选

5.5 siblings() 获取所有兄弟节点

li = doc('.list .item-0.active')

print(li.siblings())#返回四个兄弟节点

#筛选的话 在方法中加入参数

print(li.siblings('.active'))#返回一个兄弟节点

6. 遍历

pyquery 选择结果可能是多个节点 也可能是单个节点 类型都是pyquery类型 没有返回向BS那样的列表

对于单个节点 可以直接打印输出 也可以转化成字符串

li = doc('.item-0.active')

print(li)

print(str(li))

多个节点 遍历 需要调用 items()方法

lis = doc('li').items()

print(type(lis))#结果是生成器

for li in lis:

print(li,type(li))

7. 获取信息

attr() 获取属性值

a = doc('.item-0.active a')

print(a,type(a))

print(a.attr('href'))#属性值为link3.html

简写 print(a.attr.href)

调用多个节点

a = doc('a')

print(a,type(a))

print(a.attr('href'))

print(a.attr.href)

#返回结果只有第一个

获取所有的a节点属性 遍历

a = doc('a')

for item in a.items():

print(item.attr.href)

text() 获取文本

a = doc('.item-0.active a')

print(a)

print(a.text())#首先选中a节点 text()方法 获取其内部文本信息 忽略掉节点内部包含的HTML 只返回纯文本内容

获取节点内部的HTML文本 html()方法

li = doc('.item-0.active')

print(li)#查找到第三个li节点

print(li.html())#a节点内容

选择到的是多个节点

li = doc('li')

print(li.html())#返回第一个节点的内部HTML文本

print(li.text())#返回所有的li节点内部纯文本

print(type(li.text()))#str 类型

8. 节点操作

pyquery提供了一系列方法对节点进行动态修改 例如给某个节点添加一个class 移除某个节点等

列举几个典型方法

8.1 addClass() 和 removeClass()

html = '''

<div class="wrap">

<div id="container">

<ul class="list">

<li class="item-0">first item</li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-1 active"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

</div>

'''

from pyquery import PyQuery as pq

doc = pq(html)

li = doc('.item-0.active')

print(li)

li.removeClass('active')#移除active属性

print(li)

li.addClass('active')#添加active属性

print(li)

8.2 attr()、text()、html()

li = doc('.item-0.active')

print(li)

li.attr('name','link')#修改属性 第一个参数为属性名

print(li)

li.text('changed item')#传入文本

print(li)

li.html('<span>changed item</span>')#传入html文本

print(li)

attr() 传入一个参数的属性名 获取这个属性值 传入两个参数 修改属性值
text() 获取节点内纯文本 传入参数进行赋值
html() 获取节点内部的HTML文本 传入参数进行赋值

8.3 remove() 移除

示例： 提取 Hello,World 文本

html = '''

<div class="wrap">

Hello,World

<p>This is a paragraph.</p>

</div>

'''

from pyquery import PyQuery as pq

doc = pq(html)

wrap = doc('.wrap')

print(wrap.text())

wrap.find('p').remove()

print(wrap.text())

更多节点操作方法 http://pyquery.readthedocs.io/en/latest/api.html

9.伪类选择器

示例：

html = '''

<div class="wrap">

<div id="container">

<ul class="list">

<li class="item-0">first item</li>

<li class="item-1"><a href="link2.html">second item</a></li>

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>

<li class="item-1 active"><a href="link4.html">fourth item</a></li>

<li class="item-0"><a href="link5.html">fifth item</a></li>

</ul>

</div>

</div>

'''

from pyquery import PyQuery as pq

doc = pq(html)

li = doc('li:first-child')#第一个li节点

print(li)

li = doc('li:last-child')#最后一个li节点

print(li)

li = doc('li:nth-child(2)')#第二个li节点

print(li)

li = doc('li:gt(2)')#第三个li之后的li节点

print(li)

li = doc('li:nth-child(2n)')#偶数位置的li节点

print(li)

li = doc('li:contains(second)')#包含second文本的li节点

print(li)

更多常用用法 参考官方文档 http://pyquery.readthedocs.io

相关文章