Hadoop的wordcount代码实现
1.打开hadoop的目录,接下来都是在下面目录下操作
cd /usr/local/hadoop/hadoop-2.5.2 //hadoop安装目录
2.启动hadoop
./sbin/start-all.sh
3.hadoop文件暂存目录
/home/amelie/Hadoop_file
4.将以上目录的文件存入hdfs下
hadoop fs -mkdir /data/input //在hdfs中创建文件夹 hadoop fs -put /home/amelie/Hadoop_file/XXX.txt /data/input //将以上文件夹中XXX.txt放到hdfs中的/data/input
5.查看hdfs存入在/data/input下的文件数目及名称
hadoop fs -ls /data/input
6.查看文件内容
hadoop fs -cat /data/input/XXX.txt
7.hadoop自带wordcount的地址(hadoop根目录下)
./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar
8.执行.jar文件 输出在/data/output1(新的文件夹)
hadoop jar /usr/local/hadoop/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /data/input /data/output1
总结起来就是hadoop jar [xxx.jar] class-name [input] [output]
9.查看输出结果的目录,结果输出两个_SUCCESS和part-r-00000
hadoop fs -ls /data/output1
10.查看输出结果
hadoop fs -cat /data/output1/part--r-00000