最快速创建大量hdfs目录

需要创建大量hdfs目录的原因：配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录，因此我是新建数据中台，需要同步 100+的IP  的数据库，上1W的表。

正常创建目录都是使用

hadoop fs -mkdir -p /a1/b1/01

少数目录可以这么创建，但是目录过多创建就会很慢，因为创建一个目录就需要去请求一次hadoop fs 。

 

快速创建大量hdfs方法①：

在执行hql的地方执行

dfs -mkdir -p /a1/b1/01; 

这是一个hql，只需要连接上就不需要多次请求连接了。比第一种方式快速很多。

把需要的创建的hdfs目录写入一个文件，用beeline -f直接一次创建。

eg:

文件file.sql里面的内容是

 

dfs -mkdir -p /a1/b1/01; 

dfs -mkdir -p /a2/b2/02;

dfs -mkdir -p /a3/b2/03;  

 

执行命令

beeline -f file.sql（怎么进去hql的，就在后面加 -f file.sql）

 

因为笔者需要创建近万个hdfs目录，如果用正常方式创建需要几天，如果用第①种方式几小时搞定吧。

 

快速创建大量hdfs方法②：瞬间搞定

以上方式适用于需要创建的目录是散列的，没有共同父目录。如果需要创建的目录有共同父目录，最快的方式是在本地用shell循环创建好所有目录，最后hadoop fs -put。

　　不需要eg了吧。

 

 

愿世间与我，彼此温柔以待 ——by 孙松