Hadoop使用实例

一.词频统计

1.下载电子书到wc文件夹

 

 2.编写map余reduce函数

 

 

 

 3.在本地测试map与reduce

 

 4.将文本数据上传到HDFS

 

 

 

 

 5.用hadoop streaming提交任务

 

 6.查看运行结果

 

 

 

 7.计算结果取回本地

 

 二.气象数据分析（求2020年最低温度）

1.下载天气报告

 

 2.整合数据移动文件位置

 

 

 

 3.上传文本数据至HDFS

 

 4.编写java函数

 

 5.将上一步编写的java函数编译

 

 6.提交计算任务

 

 7.到指定路径目录下查看结果

 

 参考文章https://www.cnblogs.com/cmi-sh-love/p/6759016.html