通过Web ETL统一调度和管理DataX任务

 

 

DataX是一款功能强大的数据集成平台，但是其无WEB管理界面使得DataX任务在管理与调度方面存在不少问题，任务多了后很难管理和维护，同时使用和学习成本也比较高。今天就介绍下用RestCloud ETL怎么来快速的管理和调度DataX任务，通Web界面即可以方便的调度DataX的任务，增强DataX的管理和告警能力。

 

 首先登录进入Restcloud ETL平台

 

 在应用中创建一个新的流程后，打开设计流程找DataX调度器组件拖入画布中

 

 （在当前服务器运行）

可以直接指定在当前服务器上的DataX任务文件运行。配置好DataX的目录地址、任务名称以及运行时所需要的参数即可。还可以动态配置运行时的JVM参数。

 

（远程服务器运行）

也可以直接指定在远程服务器上运行的DataX任务文件。只需要配置服务器信息即可。

如上图所配置的信息保存节点后点击运行即可以运行DataX的任务。

 

 

（DataX任务运行日志）

通过任务的日志可以很清楚的看到DataX任务的执行情况以及错误信息，不需要再上服务器查找对应日志。

 

 

（流程监控图）

智能分析任务运行成功与失败的数量，在WEB界面一目了然。

 

 任务没有问题后给流程安排一个定时执行时间即可。

 

 （预警信息配置）

如果报错可以在事件中设置一个钉钉消息或者企业微信消息即可通知到运维人员，马上对有问题的任务进行处理，这样就解决了DataX任务出问题得不到通知的问题。

以上通过RestCloud ETL就快速的完成了对DataX任务的统一调度。