摘要:
onenote笔记链接 04.04 模型无法拯救不懂业务 04.05 必须自己去理解业务 04.06 了解最基础的业务形态 04.07 理解业务七步成诗法 04.08 七步成诗法之一,最核心问题:业务模式 04.09 七步成诗法,四大角色概览 04.10 七步成诗法之二,产品 04.11 七步成诗法 阅读全文
摘要:
Sensors 是一种特殊类型的运算符,可连续轮询给定条件为True。
Airflow提供了用于各种系统/用例的sensors 集合,也可以使用PythonSensor设置自定义条件。
TriggerDagRunOperator可以从另一个DAG触发DAG,而ExternalTaskSensor可以轮询另一个DAG中的状态。
可以使用REST API和/或CLI从外部Airflow触发DAG。
CLI和REST API都可能在Airflow 2.0中进行更改。 阅读全文
摘要:
研究如何区分Airflow DAG中的任务依赖顺序。
解释如何使用触发器规则在Airflow DAG 的特定点实现连接。
显示如何在Airflow DAG中执行条件任务,在某些条件下可以跳过该任务。
给出有关触发规则在Airflow中如何起作用以及如何影响您的任务执行的基本概念。
演示如何使用XCom在任务之间共享状态。 阅读全文
摘要:
在运行时使用模板渲染变量
使用PythonOperator与其他运算符进行变量模板
渲染模板变量以进行调试
在外部系统上执行操作 阅读全文
摘要:
定期运行DAG
构造动态DAG以增量方式处理数据
使用回填来加载和重新处理过去的数据集
将最佳实践应用于可靠的任务 阅读全文
摘要:
在自己的机器上运行Airflow
编写并运行您的第一个工作流程
在Airflow界面上检查第一个视图
处理Airflow中失败的任务 阅读全文
摘要:
1.遇见Apache Airflow 1.2 介绍Airflow 在本书中,我们重点介绍了 Airflow,它是一个用于开发和监控工作流的开源解决方案。在本节中,我们将提供一个俯视视图,然后我们将进入一个更详细的观测Airflow是否适合您的用例。 1.2.1 在(Python)代码中灵活地定义管道 阅读全文
摘要:
petl简介 petl是使用原生python编写的ETL包,数据操作逻辑简单,但是处理数据的速度较慢。 ETL pipelines petl包使用了大量的迭代器和延迟计算,在没有请求函数请求数据时,pipelines 不会开始处理数据。 import petl as etl table1 = etl 阅读全文
摘要:
Self-Attention Multi-head self-attention 阅读全文
摘要:
Sequence Generation Conditional Generation seq2seq Dynamic Conditional Generation Tips for Generation 阅读全文