专业统计的我,自然免不了学R的,今天仔细看了这篇教程(感谢学姐的推荐@喜欢算法的女青年),就学着用R仿照着做一个,作为R语言学习的起点吧。
影评数据是用python爬的,之后会在python爬虫系列补充上爬虫程序。
这里选取的影片是《完美陌生人》,豆瓣评分挺高的,并未看过。。。。爬好的数据为了方便同样写入xlsx文件。这里直接将xlsx后缀改为csv,方便导入R。
原始的EXCEL文件是这样的:
接下来,就是导入数据,并分析了,这里差不多全是抄的上面提到教程的代码,就贴一下,不在赘述。
data <- read.csv("完美陌生人.csv", header=T) # 日期处理 date <- as.Date(data$date) plot(table(as.Date(date)), xlab = "评论日期", ylab = "评论数量", main = "《完美陌生人》豆瓣短评评论趋势", col = 2:5) star <- data$star starx <- sort(table(star), decreasing = T) na <- length(star) - sum(starx) # paste拼接字符串; round控制小数位数 print(paste("参与评分人数--->",sum(starx),"约占总人数的",round(sum(starx)/length(star),4))) rate = starx/sum(starx) par(mar = c(0,1,2,1)) pie(rate, labels = paste(names(rate)," 星 ", format(rate * 100,digits=3),"%",sep=''),col=rainbow(5))
输出如下:
输出打印信息:
在按照教程操作时,遇到一个问题,就是那个Rwordseg包无法Install,这里请参考这篇文章,感谢作者,问题得到解决。
这是关于分词的代码:
# 分词分析 comment <- data$comment short <- data[is.na(comment)&nchar(comment)>1,] comment <- as.character(data$comment) cmt.len <- nchar(comment) par(mar=c(5,2,2,1)) hist(cmt.len,freq=F,ylim=c(0,0.025),col = "goldenrod2", xlab="短评文本的长度",main="短评长度的分布直方图") lines(density(cmt.len), col = 'tomato') f_cut <- function(x) { library(Rwordseg) unlist(strsplit(segmentCN(x, nature = T), " ")) } # 定义词语长度至少为2 word_cut <- function(x, n = 1) { x <- gsub("[a-z]|\\.", "", x) x[nchar(x) > n] } comment.words <- lapply(comment, f_cut) words <- lapply(comment.words, word_cut, 1) # 去掉words词汇量为0的文本 cw.len <- unlist(lapply(words,length)) short2 <- data[cw.len > 0,] star2 <- short2$star words2 <- words[cw.len > 0] cw.len <- cw.len[cw.len > 0] par(mar=c(5,2,2,1)) hist(cw.len,freq=F,ylim=c(0,0.096),col='chocolate2', main="短评词汇数量分布直方图",xlab="短评词汇数量") lines(density(cw.len), col="red")
输出如下:
在看到词云时,实在有些懵,打算另寻其他方法,于是就有了wordcloud2的登场。
# 词频统计 all.words <- unlist(words2) all_freq <- as.data.frame(table(all.words)) wordcloud2(all_freq)
简单几行代码搞定!而且效果也很好。
all_freq的格式:
最后词云图:
词云图也是可以显示数据的:
到这里,算是对影评有了一个初步的分析了,R果然强大啊。