HDFS 常用Shell命令
HDFS Shell命令
概述
HDFS Shell命令允许使用命令行在HDFS存储中进行文件夹和文件操作。
如文件夹的增删改查、文件的增删改查等。
开始练习hadoop时,打开Linux之后要用 start-dfs.sh
启动HDFS。
HDFS不是开机启动的
常用命令
命令格式
hdfs dfs -操作命令 参数
前面的【hdfs dfs -】部分是固定的,后面的【操作命令 参数】部分是变化的
命令练习(练习时可结合Hadoop站点观察操作结果)
hdfs dfs -mkdir /abc #创建名为/abc的文件夹
hdfs dfs -ls / 0 #列出根目录中的内容
hdfs dfs -ls -R / #递归列出多层文件夹的内容
hdfs dfs -put /etc/hosts /abc/hosts #把Linux系统中/etc/hosts文件上传到HDFS中
hdfs dfs -appendToFile /etc/hosts /abc/hosts
#向文件中追加内容
hdfs dfs -checksum /abc/hosts #查看文件的MD5值
hdfs dfs -du -h / #查看文件/文件夹的大小
#-h以人类友好的方式显示大小(过大时带单位)
hdfs dfs -get /abc/hosts ./hosts #把HDFS中的文件下载到本地Linux中
#注意./hosts是下载后保存到本地的位置
hdfs dfs -cat /abc/hosts #查看HDFS中文本文件的内容
#注意:只能查看文件文件
hdfs dfs -tail /abc/hosts #列出文件结尾处1KB的文件内容
hdfs dfs -mv /abc/hosts /abc/xyz #修改文件名字或移动位置
hdfs dfs -cp /abc/xyz /abc/hosts #复制文件
hdfs dfs -find / -name xyz #查找名字为xyz的文件的位置
hdfs dfs -rmdir /abc #删除名为/abc的文件夹
#注意:如果其中还有文件则不能删除
hdfs dfs -rm /abc/hosts #删除文件
hdfs dfs -rm -r /abc #递归删除文件/文件夹,文件夹中有文件也能删除
hdfs dfs -df #查看HDFS文件系统的磁盘使用情况