HDFS文件的读取和写入常用命令

• 分布式系统执行介绍

• 常用命令的简介和使用

1　　HDFS是一个分布式文件系统，而对于一个文件系统来讲，文件的存取是最频繁的操作，了解HDFS中读取和写入文件的流程更有利于我们理解HDFS分布式文件系统架构

• • 通过HDFS读取文件
  • 
  • 　　通过HDFS写入文件

• HDFS的基本文件操作命令（需要切换到bin目录下执行hadoop命令）

1.显示命令的帮助信息

• • 　　语法格式：hadoop fs -help      -->          获取所有命名帮助信息
  •                           hadoop fs -help ls  -->      查看命令帮助的参考    

　　　　2.创建文件夹

• • 　　语法格式：　　./hadoop fs -mkdir /+目录名

　　　　3.显示当前目录下所有文件

• • 　　语法格式：hadoop fs -ls(r)<path>         patn是hadoop下的路径

　　　　4.本地文件上传到hdfs

• • 　　语法格式：hadoop fs -put  +文件名 +   目的地址

　　　　5.更改文件权限

• • 　　语法格式：hadoop fs -chmod  +文件夹名
  •                  -R    递归更改

　　　　6.显示目录中所有文件大小

• • 　　语法格式：hadoop fs -du+ 目录名

　　　　7.显示目录中文件数量

• • 　　语法格式：hadoop fs -count + 目录名

　　　　8.移动多个文件到目标目录

• • 　　语法格式：hadoop fs -mv  +文件名   目标路径

　　　　9.复制多个文件到目标目录

• • 　　语法格式：hadoop fs -cp + 文件名   目标路径

　　　　10.删除文件(目录)

• • 　　语法格式：hadoop fs -rm(r) + 文件名(目录)

　　　　11.从本地文件移动到hdfs/从hdfs把文件移动到本地

• • 　　语法格式：hadoop fs -moveFromLocal  本地文件   目标路径
  •        语法格式：hadoop fs  -moveToLocal   hdfs文件      目标路径

　　　　12.复制文件到本地，可以忽略crc校验

• • 　　语法格式：hadoop fs -get +文件名字

　　　　13.在终端显示文件内容

• • 　　语法格式：hadoop fs -cat +目标名字

如果在上传文件过程中出现以上信息，表示hdfs权限不够，可以在hadoop配置文件中hdfs-site.xml中设置权限为false