【大数据应用期末总评】Hadoop综合大作业

作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

 

一、Hadoop综合大作业 要求：

1.将爬虫大作业产生的csv文件上传到HDFS

爬取的数据总共有10个表格（分别是不同类别）

2.对CSV文件进行预处理生成无标题文本文件

对字段进行预处理：

查看生成的table.txt：

3.把hdfs中的文本文件最终导入到数据仓库Hive中

启动hdfs：

4.在Hive中查看并分析数据

5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）

（1）查询总榜中（total.csv）总共有多少条不重复数据：

 分析：查询发现表格中总共有51行数据不重复，展现了数据的确切性和真实性。

（2）查询总榜中（total.csv）类别属于电视剧的视频总数：

分析：查询结果得总榜中有18条都是属于电视剧，占比为36%，也就是差不多三分之一都是电视剧。这也就说明了大家在腾讯视频上偏爱看电视剧。

既然大家都喜爱看电视剧，那么我们就来查查看有关于电视剧的数据，看看大家都在看什么电视剧。

（3）查询电视剧榜中（tv.csv）排行前九的电视剧名称及其地区：

分析：排行榜前列的电视剧都是最近在网络热议上爆火的电视剧，特别是排行榜第一的《破冰行动》，经常上微博热搜，它讲述了两代缉毒警察为"雷霆扫毒"专项行动奉献热血与生命的故事。排行第三四的均是古装剧，也说明了古装剧受到了大家的偏爱。

电视剧列表的地区清一色都是内地的电视剧，那么我们来查查看上榜的电视剧有多少是地区属于内地的。

（4）查询电视剧榜中（tv.csv）中地区属于内地的总数：

分析：查询结果得排行榜中总共有49个电视剧是属于内地电视剧，占比高达98%，可以说基本是来自内地的电视剧，也就说明了比起其他地区的电视剧，大家还是比较喜欢看内地的电视剧。

既然内地电视剧占比如此大，我们来看看都是哪些内地电视剧。

（5）查询电视剧榜中（tv.csv）地区属于内地的电视剧：

分析：查询结果得均是我们最近热播的剧集，包含了很多不同的种类，从古装到现代，从爱情到悬疑，各种各样的电视剧都是老百姓的喜爱。

之后我们来查查看是否有来自美国的电视剧上榜。

（6）查询电视剧榜中（tv.csv）地区属于美国的电视剧：

分析：查询到了有一条数据地区属于美国的，那就是排行第14的《权力的游戏 第八季》，这是一部获奖无数的电视剧，现在连载到第八季，深受大家的喜爱。

看完电数据排行榜我们来看看电影排行榜。

（7）查询电影榜中（movie.csv）排行前九的电影名称及其地区：

分析：排行第一的是最近新上映的青春爱情电影《最好的我们》，临近初高中毕业季，这种类型的片子最受大家的偏爱。后面的大部分是科幻大片较多，并且长期处于排行榜的前列。

（8）查询电影榜（movie.csv）中属于内地的电影：

分析：查询结果可以看出排行榜中有不少电影是来自中国内地的，也能映射出最近几年中国内地的电影事业发展越来越好，越来越多观众喜欢看我国的电影。而且其中喜剧占比最大，这里十九部电影中有七部都是喜剧，这也说明大家偏爱观看中国的喜剧。

看完电影榜来看看明星榜。

（9）查询明星榜中（star.csv）排行前九的明星名称及其代表作：

分析：果然说到影视业不能不提及的就是我们的“星爷”周星驰，明星榜排行第一，秒杀了许多最近新出的小鲜肉。往下的名列便是在年青一代家喻户晓的的歌手或演员，还有他们最近火热的综艺电影或电视剧。

（10）查询明星榜中（star.csv）中明星张一山是否上榜：

分析：查询结果得明星张一山位于明星榜的第31位，其最近的火热作品是《重耳传奇》，是一部古装剧。

（11）查询明星榜中（star.csv）中代表作名为《地久天长》的明星：

分析：查询了一下是否有参演《地久天长》的明星上榜明星榜，结果找到了00后的明星王源，是凭借着《地久天长》这部电影上榜，并且排行第35位。

总结：这次hadoop综合大作业的数据是用了新的数据，因此离上次期中作业检查隔了有一段的时间，排行榜排名有变动，因此我把十个表都重新爬了一次，数据都是最新的。经过这次，学会了在hive上用sql语句查询之后发现这样子分析数据方便了许多。尽管我有十个表格那么多，把他们都上传到hdfs后仍然能清晰地查询出我想要的数据。这节课受益匪浅，以后有需要分析数据也会选择用这种方法。