Hadoop综合大作业
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。
到http://novel.tingroom.com/duanpian/2123/英文小说网下载英文小说,总共10万多行
通过WinSCP将该文件放置在虚拟机的wc文件目录下
启动hadoop
将wc文件夹的story.txt上传文件至hdfs的hive文件夹
启动Hive
创建原始文档表
导入文件内容到表docs并查看
导入文件:
用HQL进行词频统计,结果放在表story_count里
查看统计结果
2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。
我爬是网易云音乐的薛之谦的评论,并根据评论做了词频统计,产生的csv如下
将csv通过WinSCP放入虚拟机,并上传到dfs
查看前10个数据
启动hive,创建表将csv数据导入到表中
导入数据到名为xzq的表
显示前20条数据
分析结果:从评论上如好、加油、喜欢等可以得出,薛之谦的歌曲还是深受大家喜欢的,黑粉比较少。