R 语言爬虫 之 cnblog博文爬取

时间：2022-09-06 06:04:35

Cnbolg Crawl

a). 加载用到的R包

##library packages needed in this case

library(proto)

library(gsubfn)
## Warning in doTryCatch(return(expr), name, parentenv, handler): 无法载入共享目标对象‘/Library/Frameworks/R.framework/Resources/modules//R_X11.so’：:

##   dlopen(/Library/Frameworks/R.framework/Resources/modules//R_X11.so, 6): Library not loaded: /opt/X11/lib/libSM.6.dylib

##   Referenced from: /Library/Frameworks/R.framework/Resources/modules//R_X11.so

##   Reason: image not found
## Could not load tcltk.  Will use slower R code instead.
library(bitops)

library(rvest)

library(stringr)

library(DBI)

library(RSQLite)

library(sqldf)

library(RCurl)

library(ggplot2)

library(sp)

library(raster)

##由于我们的电脑一般是中文环境，但是我想要Monday，Tuesday，所以，这时需要增加设置参数

##来告知系统采用英文（北美）环境用法。

Sys.setlocale("LC_TIME", "C")
## [1] "C"

b). 自定义一个函数，后续用于爬取信息。

## Create a function,the parameter 'i' means page number.

getdata <- function(i){

    url <- paste0("www.cnblogs.com/p",i)##generate url

    combined_info <- url%>%html_session()%>%html_nodes("div.post_item div.post_item_foot")%>%html_text()%>%strsplit(split="\r\n")

    post_date <- sapply(combined_info, function(v) return(v[3]))%>%str_sub(9,24)%>%as.POSIXlt()##get the date

    post_year <- post_date$year+1900

    post_month <- post_date$mon+1

    post_day <- post_date$mday

    post_hour <- post_date$hour

    post_weekday <- weekdays(post_date)

    title <- url%>%html_session()%>%html_nodes("div.post_item h3")%>%html_text()%>%as.character()%>%trim()

    link <- url%>%html_session()%>%html_nodes("div.post_item a.titlelnk")%>%html_attr("href")%>%as.character()

    author <- url%>%html_session()%>%html_nodes("div.post_item a.lightblue")%>%html_text()%>%as.character()%>%trim()

    author_hp <- url%>%html_session()%>%html_nodes("div.post_item a.lightblue")%>%html_attr("href")%>%as.character()

    recommendation <- url%>%html_session()%>%html_nodes("div.post_item span.diggnum")%>%html_text()%>%trim()%>%as.numeric()

    article_view <- url%>%html_session()%>%html_nodes("div.post_item span.article_view")%>%html_text()%>%str_sub(4,20)

    article_view <- gsub(")","",article_view)%>%trim()%>%as.numeric()

    article_comment <- url%>%html_session()%>%html_nodes("div.post_item span.article_comment")%>%html_text()%>%str_sub(14,100)

    article_comment <- gsub(")","",article_comment)%>%trim()%>%as.numeric()

    data.frame(title,recommendation,article_view,article_comment,post_date,post_weekday,post_year,post_month,post_day,post_hour,link,author,author_hp)

}

c). 爬取 博客园的博文发布相关的数据 ，我这里只爬1-5页的数据，100条记录。

cnblog<- data.frame()

for(m in 1:5){

    cnblog <- rbind(cnblog,getdata(m))

}

d). 查看一下爬的数据。

dim(cnblog)
## [1] 100  13
head(cnblog)
##                                                     title recommendation

## 1 Dynamic CRM 2015学习笔记（3）oData 查询方法及GUID值比较              0

## 2                                        Unity 之圆环算法              0

## 3                                        浅谈研发项目经理              1

## 4                                                C# Redis              0

## 5              JavaScript系列----AJAX机制详解以及跨域通信              0

## 6                                           MP4视频编码器              1

##   article_view article_comment           post_date post_weekday post_year

## 1            0               0 2015-04-10 20:46:00       Friday      2015

## 2           58               0 2015-04-10 19:57:00       Friday      2015

## 3          143               0 2015-04-10 19:38:00       Friday      2015

## 4          152               2 2015-04-10 19:25:00       Friday      2015

## 5           72               0 2015-04-10 19:14:00       Friday      2015

## 6           72               1 2015-04-10 19:14:00       Friday      2015

##   post_month post_day post_hour

## 1          4       10        20

## 2          4       10        19

## 3          4       10        19

## 4          4       10        19

## 5          4       10        19

## 6          4       10        19

##                                                    link     author

## 1       http://www.cnblogs.com/fengwenit/p/4415631.html     疯吻IT

## 2 http://www.cnblogs.com/wuzhang/p/wuzhang20150410.html    wuzhang

## 3        http://www.cnblogs.com/fancyamx/p/4415521.html     maxlin

## 4       http://www.cnblogs.com/caokai520/p/4409712.html   每日一bo

## 5     http://www.cnblogs.com/renlong0602/p/4414872.html 天天向上中

## 6         http://www.cnblogs.com/dhenskr/p/4414984.html    dhenskr

##                             author_hp

## 1   http://www.cnblogs.com/fengwenit/

## 2     http://www.cnblogs.com/wuzhang/

## 3    http://www.cnblogs.com/fancyamx/

## 4   http://www.cnblogs.com/caokai520/

## 5 http://www.cnblogs.com/renlong0602/

## 6     http://www.cnblogs.com/dhenskr/
tail(cnblog)
##                                  title recommendation article_view

## 95          前端资源预加载并展示进度条              3          560

## 96  Android中的Handler的机制与用法详解              1          213

## 97              JS学习笔记3_函数表达式              0          219

## 98                    iOS-MVVM设计模式              0          228

## 99             HTML5简单入门系列（七）              0          385

## 100  【Win 10应用开发】认识一下UAP项目              5          523

##     article_comment           post_date post_weekday post_year post_month

## 95                4 2015-04-08 18:03:00    Wednesday      2015          4

## 96                0 2015-04-08 18:02:00    Wednesday      2015          4

## 97                0 2015-04-08 17:56:00    Wednesday      2015          4

## 98                0 2015-04-08 17:47:00    Wednesday      2015          4

## 99                0 2015-04-08 17:36:00    Wednesday      2015          4

## 100               6 2015-04-08 17:31:00    Wednesday      2015          4

##     post_day post_hour

## 95         8        18

## 96         8        18

## 97         8        17

## 98         8        17

## 99         8        17

## 100        8        17

##                                                              link   author

## 95  http://www.cnblogs.com/lvdabao/p/resource-preload-plugin.html 每日一bo

## 96            http://www.cnblogs.com/JczmDeveloper/p/4403129.html   吕大豹

## 97                     http://www.cnblogs.com/ayqy/p/4403086.html Jamy Cai

## 98                    http://www.cnblogs.com/xqios/p/4403071.html     梦烬

## 99                   http://www.cnblogs.com/cotton/p/4403042.html   ciderX

## 100                 http://www.cnblogs.com/tcjiaan/p/4403018.html 棉花年度

##                                 author_hp

## 95      http://www.cnblogs.com/caokai520/

## 96        http://www.cnblogs.com/lvdabao/

## 97  http://www.cnblogs.com/JczmDeveloper/

## 98           http://www.cnblogs.com/ayqy/

## 99          http://www.cnblogs.com/xqios/

## 100        http://www.cnblogs.com/cotton/

e). 我这里只查看Mar.02-Mar.29四个周的博文数据，下面对数据进行简单处理。

##cnblog_Mar<- sqldf("select * from cnblog where post_day>=2 and post_day<=29")#这里我们只分析3月份四个周的数据。

cnblog_Mar$post_weekday<- factor(cnblog_Mar$post_weekday,order=TRUE,levels=c("Monday","Tuesday","Wednesday","Thursday","Friday","Saturday","Sunday"))

cnblog_Mar$post_hour <- as.factor(cnblog_Mar$post_hour)

f). 简单数据分析——图表呈现

Mar.02-Mar.29,博客发布数量按周分布

ggplot(data=cnblog_Mar,aes(post_weekday))+geom_bar()

R 语言爬虫 之 cnblog博文爬取

每日博文数量分布

ggplot(data=cnblog_Mar,aes(post_date))+geom_bar()
## stat_bin: binwidth defaulted to range/30. Use 'binwidth = x' to adjust this.

R 语言爬虫 之 cnblog博文爬取

每个小时博文发布量分布

ggplot(data=cnblog_Mar,aes(post_hour))+geom_bar()

R 语言爬虫 之 cnblog博文爬取

g). 总结

  • 用R 写的这种爬虫总共是两部分 1.自定义一个函数，将原型写出来。2.利用自定义函数，写个循环就可以欢乐的爬数据了。其中第一步找准确html_nodes是关键
  • Google chrome 浏览器结合 CSS selector 使用，寻找html_nodes 非常方便。
  • 存在table的网站，爬数据更方便。例如NBA 2014-2015常规赛技术统计排行 - 得分榜,若不存在table，则需要一个字段一个字段的爬取了，例如博客园。
  • 商业网站的数据都是他们的宝藏，例如淘宝，京东，携程等
  • 接下来打算爬一些招聘网站的数据，分析一下自己感兴趣的行业的薪资待遇，以及是哪些公司在招聘，工作地点在哪里，岗位对技术要求是什么，是R，是python，是SAS，还是数据库等等。
  • 我的前两次爬虫在博客园写了一篇博客,有兴趣的可以去看看R语言网络爬虫学习 基于rvest包

相关文章