hdfs常用指令

hdfs常用指令：

1.查看hdfs下根目录下的文件

hdfs dfs -ls /

2.查看hdfs某个目录下的所有文件结构：
如：查看根目录所有文件结构

hdfs dfs -ls -R /
hdfs dfs -lsr /

如：查看根文件tmp下的所有文件列表

hdfs dfs -ls -R /tmp/
hdfs dfs -lsr /tmp/

3.创建文件夹
如：在根文件的test目录下，创建test2

hdfs dfs -mkdir /test/test2

或者：

hdfs dfs -mkdir hdfs://22.2.1.1/test/test123/

4.创建文件夹 - 递归创建文件夹

hdfs dfs -mkdir -p /test/test3/test4/

5.本地文件移动上传hdfs某个目录：
如：

hdfs dfs -moveFromLocal /opt/hadoop/servers/test/hellow.txt /test/test123

6.hdfs文件移动到本地：
如：

hdfs dfs -moveToLocal /test/test123/hellow.txt /opt/hadoop/servers/

出现了一下问题：
moveToLocal: Option ‘-moveToLocal’ is not implemented yet

7.hdfs内部进行文件移动

hdfs dfs -mv /test/test123/ /test/test2/

8.将本地文件放到hdfs某个目录：

hdfs dfs -put /opt/hadoop/servers/test/ /tmp/

9.查看hdfs上某个文件的内容：

hdfs dfs -cat /test/test2/test123/hellow.txt

10.追加一个或者多个文件到hdfs指定文件中.也可以从命令行读取输入
如：追加本地aa.txt 到hdfs 上的 hellow.txt中

hdfs dfs -appendToFile /opt/hadoop/servers/test/aa.txt /test/test2/test123/hellow.txt

如：追加本地bb.txt cc.txt 到hdfs 上的 hellow.txt中：

hdfs dfs -appendToFile /opt/hadoop/servers/test/dd.txt /opt/hadoop/servers/test/cc.txt /test/test2/test123/hellow.txt

11.hdfs间文件拷贝：复制文件(夹)，可以覆盖，可以保留原有权限信息

hdfs dfs -cp /test/test2/test123/hellow.txt /test/

12.hdfs删除某个文件

hdfs dfs -rm /test/test2/test123/hellow.txt

13.hfds递归删除

hdfs dfs -rm -r /test

14.hdfs赋予文件夹权限

hdfs dfs -chmod -R -777 /

get
格式   hdfs dfs  -get [-ignorecrc ]  [-crc]  <src> <localdst>

作用：将文件拷贝到本地文件系统。 CRC 校验失败的文件通过-ignorecrc选项拷贝。 文件和CRC校验和可以通过-CRC选项拷贝

hdfs dfs  -get   /install.log  /export/servers

sudo -u user（用户） hadoop fs -get hdfs-file local-file
举例：
sudo -u user hadoop fs -get /user/spark/spark2ApplicationHistory/application_1550712099780_0149_1.inprogress /var/lib/impala/

chown
格式:      hdfs   dfs  -chmod  [-R]  URI[URI  ...]
作用：    改变文件的所属用户和用户组。如果使用  -R 选项，则对整个目录有效递归执行。使用这一命令的用户必须是文件的所属用户，或者超级用户。

hdfs  dfs  -chown  -R hadoop:hadoop  /install.log