Hadoop综合大作业
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。
- 先下载英语长篇文章到wc文件下
- 上传5000-8文件到hdfs
- 进入hive,创建新表
- 在hdfs中的5000-8.txt导入到english表中
- 查看该表中的信息
- 进行词频统计存放在english_count表中
- 查看english_count表的前20行数据
2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。
- 将爬虫大作业的cvs数据传到wc目录下
- 将csv文件上传到hdfs中的gigdatacase,并查看
- 显示数据库,并进bdlab数据库
- 创建初始表,并导入数据
- 显示前10行数据
分析数据:
统计该表中有多少条数据行
查看评价人数大于1000的软件数量
查看显示评价人数大于1000且安装人数大于1亿的全部软件
显示的数据均符合预期效果。