Hadoop系统命令

最主要是学会利用help

$ hadoop dfs -help

这里只列出几个常用的命令

查看

 $ hadoop dfs -ls /user/

创建目录

$ hadoop dfs -mkdir /user/

上传一个本机/home/cl/local.txt到hdfs中/user/cl/temp目录下

$ hadoop dfs -put /home/user/local.txt /user/temp

下载hdfs中/user/cl/temp目录下的hdfs.txt文件到本机/home/cl/中

$ hadoop dfs -get /user/cl/temp/hdfs.txt /home/cl

提交MapReduce Job, Hadoop所有的MapReduce Job都是一个jar包

$ hadoop jar <local-jar-file> <java-class> <hdfs-input-file> <hdfs-output-dir>

杀死某个正在运行的Job, 假设Job_Id为：job_201207121738_0001

$ hadoop job -kill job_201207121738_0001

查看系统目录空间情况

$ hadoop fs -count -q /group/admin

 

$ hadoop fs -count /dir2      1    108 hdfs://xxx:9000/dir
#第一个数值2表示/dir下的文件夹的个数
#第二个数值1表是当前文件夹下文件的个数
#第三个数值108表示该文件夹下文件所占的空间大小，这个大小是不计算副本的个数的

 

$ hadoop fs -count -q /dir
     1024         1021 10240 10132       2      1    108 hdfs://xxx:9000/dir
#在count后面增加-q选项可以查看当前文件夹的限额使用情况，
#第一个数值1024，表示总的文件包括文件夹的限额
#第二个数值1021表示目前剩余的文件限额，即还可以创建这么多的文件或文件夹
#第三个数值10240表示当前文件夹空间的限额
#第四个数值10132表示当前文件夹可用空间的大小，这个限额是会计算多个副本的
#剩下的三个数值与-count的结果一样

查看机器资源占用情况

$ hadoop fs -du -h <hdfs-dir> | grep " T " | sort -nr