Airflow 重跑dag中部分失败的任务
重跑dag中部分失败的任务
例如 dagA 中, T1 >> T2 >> T3 >> T4 >> T5 ,其中 T1 T2 成功, T3 失败, T4 T5因为依赖 T3,也不会运行。
跳过 T1 T2 重跑 T3 T4 T5 的方法是:
(1)点击 T3 clear ,默认会clear T4 T5 的状态
(2)返回到上一级,点击 dagA 名字,点击 Recursive 和 Downstream (airflow的界面,看不出来到底有没有选择,反正各点一次, Uncheck ),然后点击 run
这方法只对 subdag 有用
还有就是airflow1.8 1.9 中,如果使用 subdag ,那么 pool 中设置的 slot 是无效的,算是一个 airflow 的bug
airflow1.10 中,没有去修复这个bug,而是在subdag 默认是使用 顺序(串行)执行, 非并行方式执行。如果一定要并行,
需要自己指定为CeleryOperator