Hadoop使用实例

1.词频统计

1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中

 

 

 2.编写map与reduce函数

 

 

 

 

 

 

授权

 

 

 3.本地测试map与reduce

 echo "foo foo quux labs foo bar quux" | ./mapper.py

echo "foo foo quux labs foo bar quux" | ./mapper.py | ./reducer.py

echo "foo foo quux labs foo bar quux" | ./mapper.py | sort -k1,1 | ./reducer.py

 

 4.将文本数据上传至HDFS上

 

 

 5.用hadoop streaming提交任务

 

配置~/.bashrc

 

 

 

验证配置是否成功

 

 

 

6.查看运行结果

 

 

 

 

 

 

 

 

 

 

 

2.气象数据分析

    如：求每日最高温度

1. 批量下载气象数据

 

 

 

 

 

2.解压数据集，并保存在本地文本文件中

 

 

 3.编写map与reduce函数

4.本地测试map与reduce

5.将气象数据上传至HDFS上

 

 

 6.用hadoop streaming提交任务

7.查看运行结果

 

 

 

 

8.计算结果取回到本地