Hadoop使用实例
1.词频统计
1.下载喜欢的电子书或大量文本数据,并保存在本地文本文件中
2.编写map与reduce函数
授权
3.本地测试map与reduce
echo "foo foo quux labs foo bar quux" | ./mapper.py
echo "foo foo quux labs foo bar quux" | ./mapper.py | ./reducer.py
echo "foo foo quux labs foo bar quux" | ./mapper.py | sort -k1,1 | ./reducer.py
4.将文本数据上传至HDFS上
5.用hadoop streaming提交任务
配置~/.bashrc
验证配置是否成功
6.查看运行结果
2.气象数据分析
如:求每日最高温度
- 批量下载气象数据
2.解压数据集,并保存在本地文本文件中
3.编写map与reduce函数
4.本地测试map与reduce
5.将气象数据上传至HDFS上
6.用hadoop streaming提交任务
7.查看运行结果
8.计算结果取回到本地