第六次作业 Hadoop使用实例
一、词频统计
1、下载喜欢的电子书或大量文本数据,并保存在本地文本文件中
2、编写map与reduce函数
map函数:
reduce函数:
3、本地测试map与reduce
4、将文本数据上传至HDFS上
5、用hadoop streaming提交任务
6、查看运行结果
7、计算结果取回到本地
二、气象数据分析
1、批量下载气象数据
2、解压数据集,并保存在本地文本文件中
3、编写map与reduce函数
map函数:
reduce函数:
4、本地测试map与reduce
5、将气象数据上传至HDFS上
6、用hadoop streaming提交任务
报错,运行失败
7、查看运行结果
8、计算结果取回到本地