Azkaban的认识与使用

在大数据领域的加工/计算层 (MapReduce),涉及了繁多的工作流 workflow,为了应对工作流的可视化、可调整、可跟踪等需求,Azkaban应运而生。

Azkaban is a batch workflow job scheduler created at LinkedIn to run Hadoop jobs.Azkaban是LinkedIn创建的一个批处理工作流作业调度器,用于运行Hadoop作业。

简而言之,Azkaban即为工作流的任务调度器,姑且不论工作流的内容为何,都可视为可编排的定时任务程序,为何需要使用Azkaban而不是自己实现一个定时任务程序呢?个人理解是,Azkaban有成熟的可信赖的:可视化的任务执行界面,可跟踪的工作流日志,易于调整的工作流设计等原因。

posted @ 2024-08-27 10:14  Ashe|||^_^  阅读(2)  评论(0编辑  收藏  举报