Hadoop3.3.6 Shell命令操作

一、mkdir 创建文件夹
通过命令hadoop fs -mkdir /cyw在hdfs中创建名为cyw的文件夹

 二、moveFromLocal从本地剪切到hdfs中 

这里将本地/home/input/movefromlocal文件剪切到hdfs的cyw文件夹下
hadoop fs -moveFromLocal /home/input/movefromlocal /cyw

三、copyFromLocal从本地复制到hdfs中

这里将本地/home/input/copyfromlocal.txt文件复制到hdfs的cyw文件夹下
hadoop fs -copyFromLocal /home/input/copyfromlocal.txt /cyw

四、put等同于拷贝copyFromLocal

hadoop fs -put /home/input/put.txt /cyw

 五、appendToFile将本地文件追加到hdfs的另一个文件末尾

hadoop fs -appendToFile /home/input/words.txt /cyw/put.txt
下图可以看到在put.txt中末尾增加了文本

六、copyToLocal将hdfs文件下载到本地

hadoop fs -copyToLocal /cyw/put.txt /home/down，下图可以看到在/home/down目录下存在put.txt文件

七、get等同于copyToLocal

hadoop fs -get /cyw/put.txt /home/down/getput.txt，下图可以看到在/home/down目录下存在getput.txt文件

八、hdfs直接操作

1.ls 显示目录信息

hadoop fs -ls /cyw，显示/cyw目录信息

2.cat显示文本内容

hadoop fs -cat /cyw/put.txt，显示/cyw/put.txt文本内容

3.chgrp、chmod、chown：Linux系统用法一样。用来修改文件所属权限。

这里演示chown的用法，如上图所示,/cyw/copyfromlocal.txt文件目前的Group为supergroup，现在使用chown修改该文件的Group属性。
执行 hadoop fs -chown root:root /cyw/copyfromlocal.txt命令后刷新页面，可以在下图看到copyfromlocal.txt的group改成了root。

再执行hadoop fs -chown root:supergroup /cyw/copyfromlocal.txt，将该文件group改成原来的supergroup。

4.cp拷贝，将原地址文件拷贝到目标地址

下图可以看到，/input目录下存在words.txt文件，/cyw目录下不存在words.txt文件。

使用cp命令将/input/words.txt拷贝到/cyw目录下
hadoop fs -cp /input/words.txt /cyw

5.mv移动 将文件剪切到指定目录

如下图在/input目录下存在move.txt文件，现在需要将该文件移动到/cyw目录下

执行命令:hadoop fs -mv /input/move.txt /cyw,可以看到在/cyw目录下显示了move.txt文件，而在/input目录下move.txt文件不存在了。

6.tail命令显示文件末尾数据，类似linux。

命令：hadoop fs -tail /cyw/put.txt，显示/cyw目录下的put.txt文件末尾内容。

7.rm删除文件

这里要删除/input/put.txt文件，执行命令：hadoop fs -rm /input/put.txt

可以看到有提示Deleted /input/put.txt。

 

8.rm -r递归删除目录以及里面的内容

接着上步继续操作，这里删除/input目录和里面的内容，执行命令：hadoop fs -rm -r /input

9.du统计文件大小

统计/cyw目录文件大小，执行命令：hadoop fs -du -s -h /cyw，从下图可以看到/cyw下size累计后总共大小为263B，副本只有一个，所以副本也是263B。

 

在上面命令的基础上，去掉-s参数后则计算的是/cyw目录下每个文件的大小。执行命令： hadoop fs -du -h /cyw

 10.setrep设置文件副本个数

这里设置/cyw目录下words.txt副本数量为2个，执行命令：hadoop fs -setrep 2 /cyw/words.txt。
这里设置只是记录在NameNode中，是否真的有这么多副本还取决于DataNode。