调度工具Airflow
Airflow调度工具
学长之前谈过这个调度工具,没想到还没过1周,我就被迫使用了。听同事讲了以下,感觉还是不错的。
airflow顾名思义就是工作流的意思
Airflow 通过 DAG 也即是有向非循环图来定义整个工作流,因而具有非常强大的表达能力。
一个工作流可以用一个 DAG 来表示,在 DAG 中将完整得记录整个工作流中每个作业之间的依赖关系、条件分支等内容,并可以记录运行状态。通过 DAG,我们可以精准的得到各个作业之间的依赖关系。
可以理解为有先后任务的执行一个工作
操作和配置都挺简单的,主要看下思路
可以参考下面这个简书