Airflow 重跑dag中部分失败的任务

重跑dag中部分失败的任务

例如 dagA 中, T1 >> T2 >> T3 >> T4 >> T5  ,其中 T1 T2 成功, T3 失败, T4  T5因为依赖 T3,也不会运行。

跳过 T1   T2  重跑 T3 T4 T5 的方法是:

(1)点击 T3 clear ,默认会clear T4  T5 的状态

(2)返回到上一级,点击 dagA 名字,点击 Recursive 和 Downstream (airflow的界面,看不出来到底有没有选择,反正各点一次,  Uncheck ),然后点击 run

这方法只对 subdag 有用

还有就是airflow1.8   1.9  中,如果使用 subdag ,那么 pool 中设置的 slot 是无效的,算是一个 airflow 的bug

airflow1.10 中,没有去修复这个bug,而是在subdag 默认是使用 顺序(串行)执行, 非并行方式执行。如果一定要并行,

需要自己指定为CeleryOperator

 

posted @ 2018-09-18 20:00  像我这种两三⑩岁的人  阅读(3657)  评论(0编辑  收藏  举报