hadoop如何跑通第一个例子wordcount
1.进入你安装的hadoop的目录下,执行bin/hadoop namenode -format(对文件系统进行格式
化)
2.执行bin/start-all.sh,启动hadoop的所有守护进程,然后用jps查看相关的进程起来没,如
果是伪分布式环境下,应该有datanode,namenode,jobtracker,tasktracker,
SecondaryNameNode;如果是集群环境,那么在Master上应该只有namenode,jobtracker,
SecondaryNameNode,slave上有datanode,
tasktracker。
3.随便vi一个文件,输入一些内容,保存,比如vi的文件为test.txt,内容为
hello hadoop
hello cloud
hello java
4.执行命令bin/hadoop fs -put test.txt input(将本地的test.txt文件put到hdfs文件系统中)
5.然后执行bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount input output
6.执行bin/hadoop fs -get output output(将hdfs中的output结果拷贝到本地,然后查看内容)
或者直接执行 bin/hadoop fs -cat output/part-r-00000查看结果。结果应该如下:
cloud 1
hadoop 1
hello 3
java 1