hadoop基本操作命令小结

启动和关闭Hadoop

启动Hadoop 
1.进入HADOOP_HOME目录。 
2.执行bin/start-all.sh

关闭Hadoop 
1.进入HADOOP_HOME目录。 
2.执行bin/stop-all.sh

 

HDFS文件文件系统操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统

类似。并且支持通配符，如*。

 
查看文件列表 
查看hdfs中/user/hadoop目录下的文件和目录。 
1.进入HADOOP_HOME目录。 
2.执行bin/hadoop fs -ls /user/hadoop

列出hdfs中/user/hadoop目录下的所有文件（包括子目录下的文件）。 
1.进入HADOOP_HOME目录。 
2.执行sh bin/hadoop fs -lsr /user/hadoop

 

创建文件目录 
查看hdfs中/user/hadoop目录下再新建一个叫做newDir的新目录。 
1.进入HADOOP_HOME目录。 
2.执行bin/hadoop fs -mkdir /user/hadoop/newDir

 

删除文件 
删除hdfs中/user/hadoop目录下一个名叫needDelete的文件 
1.进入HADOOP_HOME目录。 
2.执行sh bin/hadoop fs -rm /user/hadoop/needDelete

删除hdfs中/user/hadoop目录以及该目录下的所有文件 
1.进入HADOOP_HOME目录。 
2.执行sh bin/hadoop fs -rmr /user/hadoop

 

上传文件 
上传一个本机/home/hadoop/newFile的文件到hdfs中/user/hadoop目录下 
1.进入HADOOP_HOME目录。 
2.执行bin/hadoop fs –put /home/hadoop/newFile /user/hadoop

 

下载文件 
下载hdfs中/user/hadoop目录下的newFile文件到本机/home/hadoop/newFile中 
1.进入HADOOP_HOME目录。 
2.执行bin/hadoop fs –get /user/hadoop/newFile /home/hadoop/newFile

 

查看文件内容 
查看hdfs中/user/hadoop目录下的newFile文件 
1.进入HADOOP_HOME目录。 
2.执行bin/hadoop fs –cat /home/admin/newFile

 

MapReduce Job操作 
提交MapReduce Job 
原则上说，Hadoop所有的MapReduce Job都是一个jar包。

运行一个/home/hadoop/ hadoop-0.20.2/job.jar的MapReduce Job 
1.进入HADOOP_HOME目录。 
2.执行bin/hadoop jar job.jar [jobMainClass] [jobArgs]

杀死某个正在运行的JOB 假设Job_Id为: job_201112161201_0069 
1.进入HADOOP_HOME目录。 
2.执行sh bin/hadoop job -kill job_201112161201_0069

 

更多Hadoop的命令 
上面介绍的这些Hadoop的操作命令是我们最常用的。如果你希望了解更多，可以按照如下的方式获取命令的说明信息。 
1.进入HADOOP_HOME目录。 
2.执行bin/hadoop 
可以看到更多命令的说明信息