Hadoop综合大作业
Hadoop综合大作业
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363
Hadoop综合大作业 要求:
1.将爬虫大作业产生的csv文件上传到HDFS
3.把hdfs中的文本文件最终导入到数据仓库Hive中
4.删除文件第一行记录,即字段名称
5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)
(1)查询前二十条信息的评论时间
(2)查询前二十条评论点赞数
(3)查询前二十条评论的用户
(4)查询前20个用户的观看情况
(5)查询前20个用户的评分情况
(6)查询前3条评论
(7)查询不重复id的评论数
(8)查询不重复昵称的评论数
总结分析:第一次在hadoop上分析数据,估计很容易发生一些不知名的错误,通过对在豆瓣对电影《流浪地球》的相关数据分析可以发现:网友对《流浪地球》评分相当高,有65%的推荐率和25%的力荐率。从词云可以看出来《流浪地球》的评论中科幻电影,中国,科幻,国产出现频率很高,可以看出网友把这种高质量的科幻片和中国,国产联系起来。因此网友应该对于国产科幻片开始有一定的信心。最后从数据分析来看《流浪地球》是值得一看的国产科幻片。