2021年5月11日
Data Pipelines with Apache Airflow机翻-4.使用Airflow上下文来模板化任务
摘要： 在运行时使用模板渲染变量 使用PythonOperator与其他运算符进行变量模板 渲染模板变量以进行调试 在外部系统上执行操作 阅读全文
posted @ 2021-05-11 21:47 yueqiudian 阅读(1370) 评论(0) 推荐(0) 编辑
Data Pipelines with Apache Airflow机翻-3.Airflow调度
摘要： 定期运行DAG 构造动态DAG以增量方式处理数据 使用回填来加载和重新处理过去的数据集 将最佳实践应用于可靠的任务 阅读全文
posted @ 2021-05-11 16:10 yueqiudian 阅读(830) 评论(0) 推荐(0) 编辑
Data Pipelines with Apache Airflow机翻-2.Airflow 有向无环图剖析
摘要： 在自己的机器上运行Airflow 编写并运行您的第一个工作流程 在Airflow界面上检查第一个视图 处理Airflow中失败的任务 阅读全文
posted @ 2021-05-11 10:37 yueqiudian 阅读(490) 评论(0) 推荐(0) 编辑
Data Pipelines with Apache Airflow机翻-1.遇见Apache Airflow
摘要： 1.遇见Apache Airflow 1.2 介绍Airflow 在本书中，我们重点介绍了 Airflow，它是一个用于开发和监控工作流的开源解决方案。在本节中，我们将提供一个俯视视图，然后我们将进入一个更详细的观测Airflow是否适合您的用例。 1.2.1 在(Python)代码中灵活地定义管道 阅读全文
posted @ 2021-05-11 10:02 yueqiudian 阅读(484) 评论(0) 推荐(1) 编辑