专业统计的我,自然免不了学R的,今天仔细看了这篇教程(感谢学姐的推荐@喜欢算法的女青年),就学着用R仿照着做一个,作为R语言学习的起点吧。
影评数据是用python爬的,之后会在python爬虫系列补充上爬虫程序。
这里选取的影片是《完美陌生人》,豆瓣评分挺高的,并未看过。。。。爬好的数据为了方便同样写入xlsx文件。这里直接将xlsx后缀改为csv,方便导入R。
原始的EXCEL文件是这样的:
接下来,就是导入数据,并分析了,这里差不多全是抄的上面提到教程的代码,就贴一下,不在赘述。
data <- read.csv("完美陌生人.csv", header=T) # 日期处理
date <- as.Date(data$date)
plot(table(as.Date(date)), xlab = "评论日期",
ylab = "评论数量", main = "《完美陌生人》豆瓣短评评论趋势", col = 2:5) star <- data$star
starx <- sort(table(star), decreasing = T)
na <- length(star) - sum(starx)
# paste拼接字符串; round控制小数位数
print(paste("参与评分人数--->",sum(starx),"约占总人数的",round(sum(starx)/length(star),4)))
rate = starx/sum(starx)
par(mar = c(0,1,2,1))
pie(rate, labels = paste(names(rate)," 星 ",
format(rate * 100,digits=3),"%",sep=''),col=rainbow(5))
输出如下:
输出打印信息:
在按照教程操作时,遇到一个问题,就是那个Rwordseg包无法Install,这里请参考这篇文章,感谢作者,问题得到解决。
这是关于分词的代码:
# 分词分析
comment <- data$comment
short <- data[is.na(comment)&nchar(comment)>1,]
comment <- as.character(data$comment)
cmt.len <- nchar(comment) par(mar=c(5,2,2,1))
hist(cmt.len,freq=F,ylim=c(0,0.025),col = "goldenrod2",
xlab="短评文本的长度",main="短评长度的分布直方图")
lines(density(cmt.len), col = 'tomato') f_cut <- function(x) {
library(Rwordseg)
unlist(strsplit(segmentCN(x, nature = T), " "))
}
# 定义词语长度至少为2
word_cut <- function(x, n = 1) {
x <- gsub("[a-z]|\\.", "", x)
x[nchar(x) > n]
}
comment.words <- lapply(comment, f_cut)
words <- lapply(comment.words, word_cut, 1) # 去掉words词汇量为0的文本
cw.len <- unlist(lapply(words,length))
short2 <- data[cw.len > 0,] star2 <- short2$star
words2 <- words[cw.len > 0]
cw.len <- cw.len[cw.len > 0] par(mar=c(5,2,2,1))
hist(cw.len,freq=F,ylim=c(0,0.096),col='chocolate2',
main="短评词汇数量分布直方图",xlab="短评词汇数量")
lines(density(cw.len), col="red")
输出如下:
在看到词云时,实在有些懵,打算另寻其他方法,于是就有了wordcloud2的登场。
# 词频统计
all.words <- unlist(words2)
all_freq <- as.data.frame(table(all.words))
wordcloud2(all_freq)
简单几行代码搞定!而且效果也很好。
all_freq的格式:
最后词云图:
词云图也是可以显示数据的:
到这里,算是对影评有了一个初步的分析了,R果然强大啊。