hdfs 常用命令详解

hdfs的两种操作方式hadoop fs和hdfs dfs 脚本都是调用的同一个接口

 if [ "$COMMAND" = "fs" ] ; then
      CLASS=org.apache.hadoop.fs.FsShell

elif [ "$COMMAND" = "dfs" ] ; then
      CLASS=org.apache.hadoop.fs.FsShell

hdfs文件操作命令总体上是和linux相似的，举个例子

删除

-rm [-f] [-r|-R] [-skipTrash] <src> ...]
hdfs dfs -rmf /test.txt

要注意的是生产上垃圾站生产一定要开启

 <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
  </property>

  7天，一般默认不开启为0

上传下载

-get          -put 
-copyToLocal  -copyFromLocal

权限

-chmod
-chown 

检测环境

hadoop checknative

[jackson@bigdata ~]$ hadoop checknative
21/11/07 16:22:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Native library checking:
hadoop:  false 
zlib:    false 
snappy:  false 
lz4:     false 
bzip2:   false 
openssl: false 
21/11/07 16:22:17 INFO util.ExitUtil: Exiting with status 1

存储平衡