大数据应用期末总评

 

 

作业来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

1.将爬虫大作业产生的csv文件上传到HDFS

2.对CSV文件进行预处理生成无标题文本文件

 

 

 

 

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

 

 

 

4.在Hive中查看

并分析数据

5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）

一、满意度调查

 

 

 

数据总共12900条，其中五星评分的有5612条，占43.5%；其中4.5星有1897条，占14.7%；其中4星有2021，占15.67%。

以4.0以上看做满意，可得出对该影片满意的有73.87%。

 二、查询评论数量最多的五个城市

select city ,count(*) as a  from zz group by city order by a desc limit 5;

 

分别是北京490条、上海426条、深圳401条、广州390条、成都382条。

三、