hdfs3.0 常用命令
hdfs命令大全：
# hdfs dfs
1 创建目录(-mkdir):
hadoop fs -mkdir -p /putfile/test
2 显示目录信息(-ls):
hadoop fs -ls /putfile
hadoop fs -ls -h /putfile
hadoop fs -ls -d /putfile
hadoop fs -ls -R /putfile
3 显示文件大小(-du):
hadoop fs -du /putfile
显示剩余空间(-df):
hadoop fs -df /
hadoop fs -df -h /
hadoop fs -df hdfs://ns1/
4 上传本地文件到hdfs(-put):
hadoop fs -put test.txt /putfile/test/
hadoop fs -put test.txt /putfile/test/test.txt
hadoop fs -put test.txt /putfile/test/aa.txt
hadoop fs -put test.txt aa.txt /putfile/test/ #(上传多个文件)
hadoop fs -put test.txt hdfs://ns1/putfile/test/dd.txt
5 从hdfs上下载文件(-get)
hadoop fs -get /putfile/test/test.txt .
hadoop fs -get /putfile/test/test.txt t2.txt #下载并重命名
hadoop fs -get hdfs://ns1/puttest/test/test.txt t3.txt
6 查看文件内容(-cat):
hadoop fs -cat /putfile/test/test.txt
hadoop fs -cat hdfs://ns1/puttest/test/test.txt (ns1为namenode的namespace)
输出文件最后的内容(-tail):
hadoop fs -tail /putfile/test/test.txt
7 删除文件(-rm):
hadoop fs -rm /putfile/test/test.txt
hadoop fs -rm hdfs://ns1/puttest/test/test.txt
8 删除目录(-rmdir):(-rmr已经被舍去)
hadoop fs -rmdir /putfile/test #当目录下还有文件时，无法删除该目录
hadoop fs -rmr /putfile/test #递归删除，目录下有文件，也可删除整个目录
9 查找满足表达式的文件或目录(-find):
hadoop fs -find / -name test.txt
hadoop fs -find / -name test*
10 统计某路径下的目录数，文件数和字节数(-count)
hadoop fs -count /putfile
hadoop fs -count hdfs://ns1/putfile
hadoop fs -count -q -h /putfile
11 判断文件信息(-test):
用法：hadoop fs -test -[defsz] file_or_dir
-d:如果路径是一个目录，返回0
-e:如果路径已经存在，返回0
-f: 如果路径是一个文件，返回0
-s:如果路径不是空，返回0
-z:如果文件长度为0，返回0
hadoop fs -test -d /putfile
hadoop fs -test -f /putfile/test/test.txt
12 将hdfs上的文件（包括zip包,jar包等）以文本形式输出(-text):
hadoop fs -text /putfile/test/test.txt
13 按一定的格式打印文件或目录的统计信息(-stat):
展示格式：文件大小(%b),类型(%F),所有者所在组(%g),名字(%n),块大小(%o),副本(%r),用户名(%u),修改时间(%y,%Y)。默认的是%y。
# hadoop fs -stat /putfile/test/test.txt
# hadoop fs -stat "%F %u:%g %b %y %n" /putfile/test/test.txt
regular file root:supergroup 1542 2022-01-02 13:26:20 aa.txt
14 在hdfs文件系统中进行拷贝操作(-cp):也可进行目录拷贝
参数：-f,当文件已存在时，则覆盖；-p,将权限，所属组，时间戳等也进行拷贝
hadoop fs -cp /putfile/test/test.txt /putfile/dir5
hadoop fs -cp -f /putfile/test/test.txt /putfile/dir5
hadoop fs -cp -p /putfile/test/test.txt /putfile/dir5
hadoop fs -cp /putfile/test /putfile/dir6
15 移动文件或目录(mv):
当目标路径下已经存在该文件或目录时，无法mv
hadoop fs -mv /putfile/test/test.txt /putfile/dir7
hadoop fs -mv /putfile/dir5 /putfile/dir7
16 修改文件权限(-chmod):
参数:-R递归修改
hadoop fs -chmod -R 755 /putfile/dir7
17 修改文件属主/组(-chown):
hadoop fs -chown -R root:root /putfile/dir7
18 修改文件所属的组(-chgrp):
hadoop fs -chgrp -R hadoop /putfile/dir7
19 查看校验码信息(-checksum):
hadoop fs -checksum /putfile/test/test.txt
/putfile/test/test.txt MD5-of-0MD5-of-512CRC32C 0000020000000000000000001c2ed762002fce781b9d85beddbca003
20 追加一个文件到已经存在的文件末尾(-appendToFile)
hadoop fs -appendToFile ./hello.txt /putfile/test/test.txt
hadoop fs -appendToFile ./hello.txt hdfs://ns1/putfile/test/test.txt
21 合并下载多个文件(-getmerge):
hadoop fs -getmerge /putfile/test/aa.txt /putfile/test/bb.txt ./out.txt
22 hdfs海量复制数据：
hadoop distcp srcdir desdir
hadoop distcp hdfs://vm1:50070/dir hdfs://vm2:50070/test
查看hdfs集群相关的：
查看hdfs的容量、空间使用情况，节点等信息：
# hdfs dfsadmin -report
Configured Capacity: 31668301824 (29.49 GB)
Present Capacity: 24444653568 (22.77 GB)
DFS Remaining: 24444534784 (22.77 GB)
DFS Used: 118784 (116 KB)
DFS Used%: 0.00%
Replicated Blocks:
........
-------------------------------------------------
Live datanodes (1):
Name: 192.168.1.86:9866 (vm3)
Hostname: vm3
Decommission Status : Normal
Configured Capacity: 31668301824 (29.49 GB)
DFS Used: 118784 (116 KB)
Non DFS Used: 7223648256 (6.73 GB)
DFS Remaining: 24444534784 (22.77 GB)
DFS Used%: 0.00%
DFS Remaining%: 77.19%
......
hdfs getconf -namenodes
hdfs getconf -secondaryNameNodes
hdfs getconf -backupNodes
hdfs getconf -journalNodes
hdfs getconf -nnRpcAddresses # namenode rpc 地址
查看当前模式，是否是安全模式：
# hdfs dfsadmin -safemode get
Safe mode is OFF in vm1/192.168.1.84:8020
Safe mode is OFF in vm2/192.168.1.85:8020
进入安全模式：
# hdfs dfsadmin -safemode enter
退出安全模式：
# hdfs dfsadmin -safemode leave
关闭安全模式：
# hdfs dfsadmin -safemode off
文件快照：
可对目录或整个hdfs系统做快照；可通过快照恢复；快照不会拷贝block数据，只对block列表和文件大小做快照
创建快照：
# hdfs dfs -createSnapshot /puttest puttestsnapshot
查看创建的快照，快照隐藏在.snapshot下：
# hadoop fs -ls /puttest/.snapshot
重命名快照：
# hadoop fs -renameSnapshot /puttest puttestsnapshot newputtestsnapshot
# hadoop fs -ls /puttest/.snapsho
快照恢复：
# hadoop fs -cp /puttest/.snapshot/newputtestsnapshot/dd.txt /puttest/
删除快照：
# hadoop fs -deleteSnapshot /puttest newputtestsnapshot
