Python+Spark2.0+hadoop学习笔记——Hadoop HDFS命令
历经千辛万苦，终于把Ubuntu和Hadoop安装好了，过程很繁琐也很费时间，在这里就不展开讲述了。
下面将开始介绍Hadoop HDFS命令。
HDFS命令格式如下：
hadoop fs -命令
1）常用的HDFS命令：
hadoop fs -mkdir 创建HDFS目录
hadoop fs -ls 列出HDFS目录
hadoop fs -copyFromLocal 使用-copyFromLocal复制本地（local）文件到HDFS
hadoop fs -put 使用-put复制本地（local）文件到HDFS
hadoop fs -cat 列出HDFS目录下的文件内容
hadoop fs -copyToLocal 使用-copyToLocal将HDFS上的文件复制到本地（local）
hadoop fs -get 使用-get将HDFS上的文件复制到本地（local）
hadoop fs -cp 复制HDFS文件
hadoop fs -rm 删除HDFS文件
2）从本地到HDFS
接下来我们启动Hadoop Multi-Node Cluster，包含虚拟服务器master、data1、data2、data3。
在master服务器的终端输入：
start-all.sh
然后创建一个user目录
hadoop fs -mkdir /user
然后在user目录下创建子目录test
hadoop fs -mkdir /user/test
查看之前创建的HDFS目录
hadoop fs -ls
查看HDFS根目录
hadoop fs -ls /
查看HDFS的/user目录
hadoop fs -ls /user
一次查看所有子目录
hadoop fs -ls -R /
同理可以一次性创建所有子目录
hadoop fs -mkdir -p /dir1/dir2/dir3
从本地计算机复制文件到HDFS
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test
复制本地文件到HDFS的目录的test1.txt
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test/test1.txt
列出HDFS目录下的文件内容
hadoop fs -cat /user/test/README.txt
如果文件太大，可以加上“|more”，一页一页地显示
hadoop fs -cat /user/test/README.txt |more
如果现有文件存在的话则会显示已存在，但是可以使用-f来强制复制文件
hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/test
也可以同时复制多个文件
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /usr/local/hadoop/LICENSE.txt /user/test
复制整个文件夹的指定目录
hadoop fs -copyFromLocal /usr/local/hadoop/etc /user/test
列出HDFS目录/user/test/etc下的所有文件
hadoop fs -ls -R /user/test/etc
使用put复制文件到HDFS目录，会直接覆盖文件
hadoop fs -put /usr/local/hadoop/README.txt /user/test/test2.txt
将原本显示在屏幕上的内容存储到HDFS文件
echo abc | hadoop fs -put - /user/test/echoin.txt（“|”（pipe管道符号））
显示在HDFS中echoin.txt文件的内容
hadoop fs -cat /user/test/echoin.txt（结果显示为abc）
将本地目录的列表存储到HDFS文件
ls /usr/local/hadoop | hadoop fs -put - /user/test/hadooplist.txt
3）从HDFS到本地
在本地创建test测试目录
mkdir test
切换到test目录
cd test
将HDFS的文件复制到本地计算机
hadoop fs -copyToLocal /user/text/hadooplist.txt
查看本地目录
ll
将整个HDFS上的目录复制到本地计算机
hadoop fs -copyToLocal /user/test/etc
将HDFS上的文件复制到本地计算机
hadoop fs -get /user/test/README.txt localREADME.txt
4）复制与删除HDFS文件
复制HDFS文件到HDFS测试目录
hadoop fs -cp /user/test/README.txt /user/test/temp
删除HDFS文件
hadoop fs -rm /user/test/test2.txt
删除HDFS目录
hadoop fs -rm -R /user/test/etc
5）此外，还可以使用Hadoop HDFS Web用户界面来浏览HDFS，查看文件、查看完整信息、下载文件和打开文件等。
