hadoop之文件管理基本操作
# 格式化hdfs hadoop namenode -format # 查看hadoop下的文件夹 hadoop fs -ls # 创建hdfs文件夹 hadoop fs -mkdir /user/input # 将本地文件file.txt 复制到新建文件夹,file->hdfs hadoop fs -put /user/wangbin/input/ip_data.txt wangbin # 从hadoop复制到hadoop # 从wangbin复制到wangbin hadoop fs -put ip_list.txt /user/hadoop # 从本地复制到hdfs hadoop fs -copyFromLocal ip_data.txt /user/hadoop # 从hdfs复制到本地 hadoop fs -copyToLocal sample.txt sample.txt # 查看文件内容 hadoop fs -cat /user/output/outfile # 查看顺序文件的内容 hadoop fs -text input/numbers.seq |head # 从hdfs获取文件到本地,hdfs->file hadoop fs -get /user/output/ /home/hadoop_tp/ # 更改所有人 hadoop fs -chown -R wangbin:wangbin /user/wangbin # 删除含有文件的文件夹 hadoop fs -rmr output # 并行复制文件或文件夹，以MapReduce作业实现，-overwrite 覆盖目标文件，-update 仅更新发生变化的部分 hadoop distcp ip_data.txt ip_datav2.txt # 打包project为jar包，上传文件 export HADOOP_CLASSPATH=mapReduceDemoV1.jar # 将hdfs上output目录下的多个文件合并成一个文件output-merge，并存储到本地，hdfs->file hadoop fs -getmerge output output-merge # 确定input存在，且output不存在，执行jar包 hadoop MaxTemperature sample.txt output
# 将本地文件追加到hdfs，file->hdfs
hadoop fs -appendToFile 1.txt 2.txt hdfs://cdh5/tmp/lxw1234.txt
# 将hdfs文件追加到hdfs
hadoop fs -cat hdfs://cdh5/tmp/lxw1234/*.txt | hadoop fs -appendToFile - hdfs://cdh5/tmp/hdfs_largefile.txt
#查看hadoop所有命令 hadoop fs #显示该目录中每个文件或目录的大小 hadoop fs -du /tmp/logs/shtermuser/-1531305777000.txt #类似于du，PATH为目录时，会显示该目录的总大小 hadoop fs –dus PATH #循环列出目录、子目录及文件信息 hadoop fs –lsr #从HDFS文件系统删除test.txt文件，rm命令也可以删除空目录 hadoop fs –rm /user/sunlightcs/test.txt #修改HDFS系统中/user/sunlightcs目录所属群组，选项-R递归执行，跟linux命令一样 hadoop fs –chgrp [-R] /user/sunlightcs #修改HDFS系统中/user/sunlightcs目录拥有者，选项-R递归执行 hadoop fs –chown [-R] /user/sunlightcs #修改HDFS系统中/user/sunlightcs目录权限，MODE可以为相应权限的3位数或+/-{rwx}，选项-R递归执行 hadoop fs –chmod [-R] MODE /user/sunlightcs #清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除 hadoop fs –expunge 对PATH进行如下类型的检查： -e PATH是否存在，如果PATH存在，返回0，否则返回1 -z 文件是否为空，如果长度为0，返回0，否则返回1 -d 是否为目录，如果PATH为目录，返回0，否则返回1 hadoop fs –test –[ezd] PATH echo $?获取返回值 #显示文件的内容，当文件为文本文件时，等同于cat，文件为压缩格式（gzip以及hadoop的二进制序列文件格式）时，会先解压缩 hadoop fs –text PATH 查看某个[ls]命令的帮助文档 hadoop fs –help ls
#移动文件，源目录可以有多个，目标只能是一个 hadoop fs -mv src dst #统计hdfs对应路径下的目录个数，文件个数，文件总计大小 hadoop fs -count <hdfs path>
#创建一个0字节的空文件
hadoop fs -touchz pathname
#计算目录、文件个数和字节数
#hadoop fs -count path
#将单个src或多个srcs从本地文件系统附加到目标文件系统。 还从stdin读取输入并附加到目标文件系统。
hadoop fs -appendToFile localfile /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile1 localfile2 /user/hadoop/hadoopfile
hadoop fs -appendToFile localfile hdfs://nn.example.com/hadoop/hadoopfile
#返回文件的校验信息
hadoop fs -checksum URI
#显示目录可用空间
hadoop fs -df path
#查找与指定表达式匹配的所有文件，并将选定的操作应用于它们。 如果未指定路径，则默认为当前工作目录。
hadoop fs -find / -name test -print
＃显示文件和目录的访问控制列表（ACL）。 如果目录具有默认ACL，则getfacl还会显示默认ACL。
hadoop fs -getfacl [-R] <path>
＃显示文件或目录的扩展属性名称和值（如果有）。
hadoop fs -getfattr [-R] -n name | -d [-e en] <path>
＃以指定格式打印<path>中文件/目录的统计信息。
hadoop fs -stat [格式] <路径> ...
＃将所有与指定文件模式匹配的文件截断为指定的长度。
hadoop fs -truncate [-w] <length> <paths>
