摘要: Sensors 是一种特殊类型的运算符,可连续轮询给定条件为True。 Airflow提供了用于各种系统/用例的sensors 集合,也可以使用PythonSensor设置自定义条件。 TriggerDagRunOperator可以从另一个DAG触发DAG,而ExternalTaskSensor可以轮询另一个DAG中的状态。 可以使用REST API和/或CLI从外部Airflow触发DAG。 CLI和REST API都可能在Airflow 2.0中进行更改。 阅读全文
posted @ 2021-05-12 16:54 yueqiudian 阅读(1037) 评论(0) 推荐(0) 编辑
摘要: 研究如何区分Airflow DAG中的任务依赖顺序。 解释如何使用触发器规则在Airflow DAG 的特定点实现连接。 显示如何在Airflow DAG中执行条件任务,在某些条件下可以跳过该任务。 给出有关触发规则在Airflow中如何起作用以及如何影响您的任务执行的基本概念。 演示如何使用XCom在任务之间共享状态。 阅读全文
posted @ 2021-05-12 11:56 yueqiudian 阅读(1684) 评论(0) 推荐(0) 编辑