Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。

  • 启动hadoop:
  • 上传到wc文件中
  • 启动Hive
  • 在hive数据库创建表 world:
  • 导入文本test.txt并查看
  • 用HQL进行词频统计

2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。

  • 创建用于存放csv数据目录
  • 把文件放入文件夹中
  • 查看文件中的数据:
  • 导入数据库表中
posted @ 2018-05-25 16:01  241黄文麒  阅读(125)  评论(0编辑  收藏  举报