Hadoop的Archive归档命令使用指南

hadoop不适合小文件的存储，小文件本省就占用了很多的metadata，就会造成namenode越来越大。Hadoop Archives的出现视为了缓解大量小文件消耗namenode内存的问题。

采用ARCHIVE 不会减少 文件存储大小，只会压缩NAMENODE 的空间使用

1.单文件打包

hadoop archive -archiveName weibotest2014.har -p /crawler/weibo/2014-06-26 /crawler/weibo/

2.多文件夹打包

hadoop archive -archiveName weibotest2014.har -p /crawler/weibo/ 2014-06-26 2014-06-27 /crawler/weibo/

3.匹配打包

hadoop archive -archiveName weibotest2014.har -p /crawler/weibo/ 2014-06* /crawler/weibo/

4.解压

hadoop distcp har:////crawler/weibo/weibotest2014.har /crawler/weibo/

5.查看文件夹大小

 

hadoop fs -du -s /crawler/weibo/2014-06-28

6.删除文件夹

hadoop fs -rm -r /crawler/weibo/2014-06-28