调度工具Airflow

Airflow调度工具

学长之前谈过这个调度工具,没想到还没过1周,我就被迫使用了。听同事讲了以下,感觉还是不错的。

airflow顾名思义就是工作流的意思

Airflow 通过 DAG 也即是有向非循环图来定义整个工作流,因而具有非常强大的表达能力。
一个工作流可以用一个 DAG 来表示,在 DAG 中将完整得记录整个工作流中每个作业之间的依赖关系、条件分支等内容,并可以记录运行状态。通过 DAG,我们可以精准的得到各个作业之间的依赖关系。

可以理解为有先后任务的执行一个工作

操作和配置都挺简单的,主要看下思路
可以参考下面这个简书

posted @ 2020-11-04 18:50  高文星星  阅读(465)  评论(0编辑  收藏  举报