python 爬虫 入门 二、数据解析（正则、bs4、xpath）

目录

一、待匹配数据获取

二、正则

三、bs4

（一）、访问属性

（二）、获取标签的值

 （三）、查询方法

 四、xpath

后续：登录和代理

---

        上一节我们已经知道了如何向服务器发送请求以获得数据，今天我们就来学习如何从获得的数据中找到自己需要的东西，使用数据解析的三种工具：正则、bs4、xpath。

一、待匹配数据获取

我们今天来试试国家数据网页，尝试获取下面这个框里面所有链接的url。

        我们先右键网页，查看页面源代码（ps：F12元素里面的代码是网页的实时代码，和源代码有差异。）然后Ctrl+F搜索： 2020年投入产出表，可以看到有结果，前面的超链接就是我们需要的url。这表明数据是直接在网页源码中的，而不是通过脚本二次请求服务器生成的，可以直接通过页面源码找到。

接下来，使用上一节的代码来获取页面源代码。

import requests

url = "https://data.stats.gov.cn/"
headers = {
    # 用户代理，某些网站验证用户代理，微微改一下，如果提示要验证码之类的，使用它
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0",
}
with requests.get(url=url, headers=headers,) as resp:
    resp.encoding = "utf-8"
    print(resp)
    with open("国家数据.html", mode="w",encoding="utf-8") as f:
        f.write(resp.text)  # 读取到网页的页面源代码"

 我们下面的操作就只读取下载的html文件，而不反复请求服务器。

二、正则

        使用正则表达式来匹配数据在很多python基础中都有，速度快，能适应复杂的需求，但是复杂的正则表达式不好写，难维护，容易出错。不过那些大语言模型写正则是一把好手。这里主要爬虫，关于正则表达式，给几个表看一看，用用就会了。这里贴一下python文档链接和几个表以待后续查看：正则表达式指南 — Python 3.11.10 文档

import re  # 正则

findall()	以列表形式返回所有满足数据，没有返回空列表
finditer()	返回所有匹配结果的迭代器，建议使用for+group提取
search()	返回第一个匹配结果的match对象，使用group提取，没有返回None
match()	从头开始匹配，返回match对象。 相当于在正则表达式前面加了^,没有返回None
compile()	预加载正则表达式

量词	意义
*	0~∞次
+	1~∞次
?	0~1次
{n}	n次
{n,}	n~∞次
{n,m}	n~m次

元字符	意义
.	换行符以外任意字符
\w	字母数字下划线
\s	空白字符（空格 换行符 制表符）
\d	数字
\W	非字母数字下划线
\S	非空白字符
\D	非数字
\n	换行符
\t	制表符
^	字符串开始
$	字符串结尾
a|b	字符a或字符b
()	匹配括号内的表达式
[abc]	匹配字符a或b或c
[^abc]	匹配除了a、b、c的字符

规则	意义
re.I	忽略大小写
re.L	不建议使用，改用re.U
re.M	多行匹配
re.S	令 . 可以匹配换行符
re.U	使用unicode字符集
re.X	忽略匹配表达式中的空白符和#，除非加\,令你可以在正则表达式中加注释

        一个小细节，.*会贪婪匹配，越多越好，.*?会非贪婪匹配越少越好

        好，基础知识都在上面，现在我们来尝试匹配网页吧。 通过在网页中查看，我们发现需要获取的url前后有<li><a href="和.+产出表</a><span>，所以我们可以根据这一点来写正则表达式，最终形成如下代码：

import re
path = "国家数据.html"
with open(path,mode="r", encoding="utf-8") as f: # 下载源码
    data = f.read()
regular = re.compile(r'<li><a href="(?P<url>.*)">(?P<year>.*)投入产出表</a><span>')
result_1 = regular.findall(data)
result_2 = regular.finditer(data)
result_3 = regular.search(data)
result_4 = regular.match(data)
print(result_1)
for i in result_2:
    print(i.group())
    print(i.group("url"))
    print(i.group("year"))
print(result_3.group())
print(result_4)

         这里面()划定了一个组，而?P<name>给组起了一个名字，结果如下：

         finditer返回的迭代器是我最常用，也是我觉着最好用的。

三、bs4

        bs4全称beautifulsoup4。它主要是创建解析树，用来导航、搜索、修改HTML和XML文档，效率可能比其他的略低，但比较健壮，不易出错。

from bs4 import BeautifulSoup  # bs

        基础用法就是先使用  bs = BeautifulSoup(data, "html.parser")  将html代码交给bs4处理为树形结构，然后在得到的bs对象中查找需要的数据。

        处理后数据是一个BeautifulSoup，即文档，文档中有许多tag（标签），标签也能够包含标签，就像上图的<div>、<a>、<li>一样。我们可以通过bs.ul来访问第一个ul标签。有的标签具有属性，像是最外层的div标签就有id属性、第一个a有href属性一样。可以像是访问字典一样，通过bs.ul.li.a["href"]或者bs.ul.li.a.get("href")来访问属性的值。如果属性有多个值或者属性名字为class，会返回列表。

除了tag以外，还有NavigableString（标签的值）以及Comment（注释和特殊字符串），标签的值一般是字符串，字符串中无法包含其他标签，同时无法编辑，只能替换。可以通过.string、.text获取标签的字符串。若标签内非字符串，第一种返回None，第二种会将内容转化为纯文本输出

我们要筛查的话，可以使用find()或者find_all()方法来的到一个对象或者所以符合要求的对象，

find_all比find只多了一个limit参数，其他的参数相同

 好，总结一下。

（一）、访问属性

标签["属性名"]

标签("属性名")

class返回列表，其他的返回字符串

（二）、获取标签的值

.string                        空返回None

.text                            返回内容纯文本

 （三）、查询方法

find(name , attrs , recursive , string)       

find_all(name , attrs , recursive , string, limit)

标签名，属性名和属性值（class_特殊），搜索全部子孙节点，字符串内容，最大返回数

        除此之外，还有css选择器，但我没看，觉得不够用的可以再去学习一下。

        利用上述知识，我们可以使用下面代码获得所需数据了：

from bs4 import BeautifulSoup  # bs

path = "国家数据.html"
with open(path, mode="r", encoding="utf-8") as f:  # 下载源码
    data = f.read()
bs = BeautifulSoup(data, "html.parser")  # html代码交给bs处理'
ul = bs.find("ul", class_="active clearfix")  # 查找标签名为ul,属性class值为”active clearfix“的tag
data = ul.find_all("a")  # 查找所有a标签
for i in data:
    print(i["href"], i.string)

 很简短，不是吗。

 四、xpath

        这东西比bs快点，而且有开发工具加持，能够精准定位。它和bs4挺像的，是一种专门用于XML文档定位和选择节点的语言。但用起来也挺难，这里说点简单的先用上。

from lxml import etree        # 导入

        xpath的节点就像是上面的tag，树形结构，跟文件夹似的，使用etree.HTML(data)来处理数据。

        首先是xpath支持路径表达式，和我们常见的文件路径相似：

/	根节点开始
//	不考虑位置
.	当前节点
..	父节点
@	选取属性
*	通配符，任何
|	或
nodename	所有子节点
text()	获取文本

        我们可以通过.xpath来执行路径表达式。比如还是上文中的登录部分，我们想获取登录的文本，可以使用tree.xpath("/html/body/div[2]/div/div/ul/li[1]/a/text()")来得到结果，什么？很长，长就对了，这就就不是给人数的。（注意，它的下标从1开始）

        这就要说到上面的开发工具加持了，打开开发工具的元素页面，右键需要的元素，就能够直接复制元素的Xpath地址了。

        我们再来看看这条代码：tree.xpath("//*[@id='top']/div/div/ul/li[1]/a/text()")照样能找到位置，它用了谓语表达式，[@id='top']代表标签有个叫id的属性，值为'top',还能写出一些其他的谓语表达式，比如[last()]表示最后一个节点，[text()="登录"]选择文本为登录的节点，[id>1]选择id值大于1的节点等。

        xpath还有一些接口：

xpath()	路径表达式获取节点列表
find()	查第一个匹配的节点
findall()	查所有匹配节点
text	获取文本内容
attrib	获取节点属性

        好的，现在我们开始获取所需数据吧，要获得想要元素的位置，一点点找太麻烦了，我们可以使用左上角的检查工具，然后鼠标移动到所需的数据上，就能知道这个数据是从哪段代码中显示的了。

from lxml import etree

path = "国家数据.html"
with open(path, mode="r", encoding="utf-8") as f:  # 下载源码
    data = f.read()
tree = etree.HTML(data)
ul1 = tree.xpath("/html/body/div[6]/div[3]/div[2]/div[2]/ul[1]")[0]
ul2 = tree.xpath('//ul[@class="active clearfix"]')[0]
print(ul1 == ul2)
out_data = ul1.xpath('./li/a')
print(out_data == ul1.findall("li/a"))
print(out_data == tree.xpath('//ul[@class="active clearfix"]//a'))
for i in out_data:
    print(i.attrib["href"],i.text)

方法很多，选种喜欢的用就行。 

注意上面获得的url前面拼接上原网址才是完整url。

后续：登录和代理

改天写如何处理登录以及代理，详情见三、登录以及代理。