菜鸟学IT之Hadoop综合大作业
Hadoop综合大作业
作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363
1.将爬虫大作业产生的csv文件上传到HDFS
- 爬取豆瓣网战狼2电影的影评数据
-
把爬取到的csv文件存放到ubuntn系统中，并创建存放的文件夹bigdatacase、dataset：
- 把下载好的影评test.csv文件文本拷贝到dataset目录下并查看文件
- 查看文件的前五条数据
- 删除表头
2.对CSV文件进行预处理生成无标题文本文件
每个字段用\t隔开，这里有7个字段。
- 把处理后文件保存到txt文件中
- 启动hadoop
3.把hdfs中的文本文件最终导入到数据仓库Hive中
- 在HDFS上建立/bigdatacase/dataset文件夹，将文件上传
- 测试查看存放到hdfs上test文件是否成功
- 启动mysql
4.在Hive中查看并分析数据
- 创建bdlad库
5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）
由于数据库会自动加序号一列，所以在配置文件哪里修改一下文件，不要第一列。即（$1）不需要了。
- 重新载入修改好文件test并创建表，并查看前十条数据
- 统计给分力荐的人数
- 统计给分为还行的人数
- 统计给分为较差的人数
结论：由上述的评价中，影迷们对战狼2也是给好评居多，对战狼2也是喜欢的。
- 查出uid不重复的数据有多少条
分析：爬取去了1500条数据（没有使用代理IP），不重复率100%。
查询在'2019/3/1'到'2019/4/1'时间段评论的人数
- 查询在'2019/1/1'到'2019/3/1'时间段评论的人数
分析：随着时间发展，战狼2的热度逐渐减退。影迷也是在首播观看战狼2的人数居多，这才是真爱。
- 查询评论点赞前十的小伙伴是给出什么评分
分析：由数据可以看出，点赞最多的前十评论。给出的评价都是相对来说是好评，说明这个数据是好评。
- 统计评论里面人们给出的评分
分析：由数据可以得出，影迷们给出的评价都是推荐观看战狼2，经典你值得拥有。
