Hadoop综合大作业&补交作业

补交作业的帖子https://www.cnblogs.com/FZW1874402927/p/9089123.html

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。

(1)启动hadoop

 

(2)Hdfs上创建文件夹

(3)上传文件至hdfs

 

(4)启动Hive,创建原始文档表

create table news(line string);(没有截图。。)

(5)导入文件内容到表docs并查看

select * from news;(太长了不截了)截最后面的:

(6)用HQL进行词频统计,结果放在表word_count里

(7)查看统计结果

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

 (1) 将爬虫大数据得到的结果导入到Ubuntu

 

posted @ 2018-05-25 15:56  157-符致伟  阅读(109)  评论(0编辑  收藏  举报