关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)

这两天在做数据的导入操作,为了方便数据的导入我们采用sqoop的方式将数据导入。但是在表很多的情况下,在hue当中部署工作流就是一件很麻烦的事情,

然后想着能不能通过shell脚本调shell脚本的方式实现在一个shell脚本当中就可以实现对多个导入操作脚本的调用。

操作脚本如下:

#!/bin/bash
#sh ./import_com_organization.sh
source ./import_com_organization.sh
#. ./import_com_organization.sh  
echo "success"
exit 0  
这三种方式都可以实现对数据的导入操作,我这里是使用oozie的方式实现对脚本的调度操作。下面这个是sqoop的导入脚本,这个可以自己按照自己的要求去编写

 

这里需要注意几个问题,在这里被调用的脚本必须和住脚本的路径一直。要不然一直报找不到路径,类似下面的这种找不到路径。这里我试了一下使用决绝路径都是不可以的,一直报路径或者文件存在。这设计真是不合理
两个文件还必须在同一目录下面。

 

 下面说一下这种脚本在hue当中部署oozie的具体操作;

(1)将写好的脚本主脚本和被调用的脚本上传到同一目录下:

 

(2)然后部署工作流

 

 接下来在yarn上面我们能看到oozie启动的laucher和action操作。

 

 

 等待执行完成之后。查看结果即可。

参考文档: https://blog.csdn.net/adshiye/article/details/84311890

 

posted on 2019-01-04 17:41  gxg123  阅读(3167)  评论(0编辑  收藏  举报

导航