使用 CSS 选择器从网页中提取数据

时间：2023-12-25 13:38:43

在 R 中，关于网络爬虫最简单易用的扩展包是 rvest。运行以下代码从 CRAN 上安装：
install.packages("rvest")
首先，加载包并用 read_html( ) 读取 data/single-table.html，再尝试从网页中提取表格：
library(rvest)
## Loading required package: xml2
single_table_page <- read_ _html("data/single-table.html")
single_table_page
## {xml_document}
## <html>
## [1] <head>\n <title>Single table</title>\n</head>
## [2] <body>\n <p>The following is a table</p>\n <table i ...
注意到，single_table_page 是一个HTML 解析文档，是HTML 节点的嵌套数据结构。
使用 rvest 函数从网页上爬取信息的典型过程是这样的。首先，定位需要从中提取数
据的 HTML 节点。然后，使用 CSS 选择器或者 XPath 表达式筛选 HTML 节点，从而选择
需要的节点，剔除不需要的节点。最后，对已解析的网页使用合适的选择器，用 html_
nodes( ) 提取节点子集，用 html_attrs( ) 提取属性，用 html_text( ) 提取文本。
rvest 包也提供了一些简单的函数，从网页中直接提取数据并返回一个数据框。例如，
提取网页中所有的 <table> 元素，我们直接调用 html_table( )：
html_ _table(single_table_page)
## [[1]]
## Name Age
## 1 Jenny 18
## 2 James 19
为了提取<table> 中的第 1 个元素，我们在使用 CSS 选择器 table 的时候，调用
html_node( ) 选择第1个节点，再对选择出来的节点调用 html_table( ) 得到一个数据框：
html_ _table(html_ _node(single_table_page, "table"))
## Name Age
## 1 Jenny 18
## 2 James 19
一个很自然的想法便是使用管道操作，就像第 12 章中介绍的 dplyr 包中使用 %>% 管
道操作符。回顾一下，%>% 执行 x %>% f(···) 的基本方法就是 f(x,···)，因此，嵌
套调用可以被拆解，从而提高可读性。上述代码可以用 %>% 重写为：
single_table_page %>%
html_ _node("table") %>%
html_ _table()
## Name Age
## 1 Jenny 18
## 2 James 19
现在，读取 data/products.html，并用 html_nodes( ) 匹配 <span class = "name"> 节点：
products_page <- read_ _html("data/products.html")
products_page %>%
html_ _nodes(".product-list li .name")
## {xml_nodeset (3)}
## [1] <span class = "name">Product-A</span>
## [2] <span class = "name">Product-B</span>
## [3] <span class = "name">Product-C</span>
注意到，我们想选择的节点是 product-list 类的 <li> 标签下属于 name 类的节
点。因此，使用.product-list li .name 选择这样的嵌套节点。如果对这些符号不熟
悉，请温习常用的 CSS 表。
之后，再用 html_text( ) 从选择的节点中提取内容，这个函数会返回一个字符向量：
products_page %>%
html_ _nodes(".product-list li .name") %>%
html_ _text()
## [1] "Product-A" "Product-B" "Product-C"
类似地，下面的代码提取出产品价格：
products_page %>%
html_ _nodes(".product-list li .price") %>%
html_ _text()
## [1] "$199.95" "$129.95" "$99.95"
前 面 这 些 代 码 中 ， html_nodes( ) 返 回 一 个 包 含 HTML 节 点 的 集 合 ，
而 html_text( ) 则从每个 HTML 节点中智能地提取内部文本，然后返回一个字符向量。
但是，这些价格保留了它们的原生格式，即字符串形式，而不是数字。下面的代码提
取出来相同的数据，并把它转换成更常用的格式：
product_items <- products_page %>%
html_ _nodes(".product-list li")
products <- data.frame(
name = product_items %>%
html_ _nodes(".name") %>%
html_ _text(),
price = product_items %>%
html_ _nodes(".price") %>%
html_ _text() %>%
gsub("$", "", ., fixed = TRUE) %>%
as.numeric(),
stringsAsFactors = FALSE
)
products
## name price
## 1 Product-A 199.95
## 2 Product-B 129.95
## 3 Product-C 99.95
注意到，选择节点的中间结果可以被存储在一个变量中，以便重复使用。后续
的 html_nodes( ) 或 html_node( ) 仅仅匹配内部节点。
既然产品价格是数值，我们便可以用 gsub( ) 从原生价格中移除 $，然后将结果转换
成一个数值向量。管道操作中的 gsub( ) 调用有点特殊，因为前面的结果（用 . 表示）
本该放在第 3 个参数位置，而不是第 1 个。
这个例子中，.product-list li .name 可以缩写为 .name，同理，.product-list
li .price 可以被 .price 代替。在实际应用中，CSS 类被广泛地运用，因此，一个通用
的选择器可能会匹配太多非合意的元素。所以，最好选择一个描述更清晰，限制条件更严
格的选择器去匹配感兴趣的节点。

相关文章