方法一: 完整解析信息的标记形式,再提取关键信息
需要标记解析器(例如bs4库的标签树遍历)
优点: 信息解析准确
缺点:提取过程繁琐, 速度慢
方法二: 无视标记形式,直接搜索关键信息
直接对信息的文本查找函数即可
优点:简介, 快速
缺点:提取结果准确性与信息内容相关
融合方法:结合形式的解析和搜索方法,提取关键信息
XML JSON YAML搜索
需要标记解析器及文本查找函数
例:
for link in soup.find_all('a'):
print(('href'))
//输出所有的url链接
//href属性用于指定超链接目标的URL
<>.find_all(name, attrs, recursive, string, **kwrs)
查找soup中的变量内容, 返回值是符合条件的标签列表形式
// soup.find_all('a') / find_all(['a', 'b'])
name: 对标签名的检索字符串
attrs:对标签属性值的检索字符串,可标注属性检索
//直接检索属性域: find_all(id = 'link1')
recursive : 是否对子孙全部检索, 默认True,如果只想搜索当前节点的儿子节点层信息,应设置为False
// soup.find_all('a', recursive = 'False') -- 表示当前节点的子节点层无‘a’开头的标签
string: 标签<>...</>中字符串区域的检索字符串
find_all()的简易形式:
<tag>(...) 等价于 <tag>.find_all()
soup(...) 等价于 soup.find_all()
import re -- 正则表达式库
('b') // 返回所有以b开头的信息
soup.find_all(('b'))
正则表达式: 可以对需要检索的信息进行筛选
find_all()扩展方法(同find_all()参数):
1. <>.find() // 搜索且只返回一个结果
2. <>find_parents() // 先辈节点中搜索,返回列表类型
3.<>find_parent() // 返回一个结果
4.<>find_next_siblings() / <>find_next_sibling() // 后续平行节点中搜索,返回列表/一个值
5.<>find_previous_siblings() / <>find_previous_sibling() // 前序平行节点中搜索,返回列表/一个值