大数据应用期末总评

作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

Hadoop综合大作业 要求：

1.将爬虫大作业产生的csv文件上传到HDFS

 

2.对CSV文件进行预处理生成无标题文本文件

 

 

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

转为txt文件上传到hdfs上

创建数据库

 

4.在Hive中查看并分析数据

 

 

5.用Hive对爬虫大作业产生的进行数据分析。

1.查询评论的总条数

 

 2.统计不同时间评论的个数

 

3.查询2019-4-24 号的评论情况

 

4.查询评分情况为推荐的个数

5.根据赞同次数大小排序查询

6.统计观看过影片的人数

7.查询有多少不同的评论日期

8.查询总评分情况

 

分析：根据对数据库的操作我们能看出观众对于这部影片的评价大部分都为推荐以上的。而获得赞同次数最多的一条评论为31471次，证明用户对于影片的感想还是挺相同的。所以说，这部影片值得一看。