Hadoop综合大作业

Posted on 2019-06-20 21:36  赵铭杰  阅读(255)  评论(0编辑  收藏  举报

作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

 

Hadoop综合大作业

1.将爬虫大作业产生的csv文件

2.对CSV文件进行预处理生成无标题文本文件

 

 

3.把hdfs中的文本文件最终导入到数据仓库Hive中

 

 

4.在Hive中查看并分析数据

 

5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

①查询统计总数据量

②用聚合函数count()加上distinct,查出主键user_name不重复的数据有多少条