摘要: onenote笔记链接 04.04 模型无法拯救不懂业务 04.05 必须自己去理解业务 04.06 了解最基础的业务形态 04.07 理解业务七步成诗法 04.08 七步成诗法之一,最核心问题:业务模式 04.09 七步成诗法,四大角色概览 04.10 七步成诗法之二,产品 04.11 七步成诗法 阅读全文
posted @ 2021-08-23 17:53 yueqiudian 阅读(275) 评论(0) 推荐(0) 编辑
摘要: Sensors 是一种特殊类型的运算符,可连续轮询给定条件为True。 Airflow提供了用于各种系统/用例的sensors 集合,也可以使用PythonSensor设置自定义条件。 TriggerDagRunOperator可以从另一个DAG触发DAG,而ExternalTaskSensor可以轮询另一个DAG中的状态。 可以使用REST API和/或CLI从外部Airflow触发DAG。 CLI和REST API都可能在Airflow 2.0中进行更改。 阅读全文
posted @ 2021-05-12 16:54 yueqiudian 阅读(1097) 评论(0) 推荐(0) 编辑
摘要: 研究如何区分Airflow DAG中的任务依赖顺序。 解释如何使用触发器规则在Airflow DAG 的特定点实现连接。 显示如何在Airflow DAG中执行条件任务,在某些条件下可以跳过该任务。 给出有关触发规则在Airflow中如何起作用以及如何影响您的任务执行的基本概念。 演示如何使用XCom在任务之间共享状态。 阅读全文
posted @ 2021-05-12 11:56 yueqiudian 阅读(1776) 评论(0) 推荐(0) 编辑
摘要: 在运行时使用模板渲染变量 使用PythonOperator与其他运算符进行变量模板 渲染模板变量以进行调试 在外部系统上执行操作 阅读全文
posted @ 2021-05-11 21:47 yueqiudian 阅读(1345) 评论(0) 推荐(0) 编辑
摘要: 定期运行DAG 构造动态DAG以增量方式处理数据 使用回填来加载和重新处理过去的数据集 将最佳实践应用于可靠的任务 阅读全文
posted @ 2021-05-11 16:10 yueqiudian 阅读(822) 评论(0) 推荐(0) 编辑
摘要: 在自己的机器上运行Airflow 编写并运行您的第一个工作流程 在Airflow界面上检查第一个视图 处理Airflow中失败的任务 阅读全文
posted @ 2021-05-11 10:37 yueqiudian 阅读(486) 评论(0) 推荐(0) 编辑
摘要: 1.遇见Apache Airflow 1.2 介绍Airflow 在本书中,我们重点介绍了 Airflow,它是一个用于开发和监控工作流的开源解决方案。在本节中,我们将提供一个俯视视图,然后我们将进入一个更详细的观测Airflow是否适合您的用例。 1.2.1 在(Python)代码中灵活地定义管道 阅读全文
posted @ 2021-05-11 10:02 yueqiudian 阅读(481) 评论(0) 推荐(1) 编辑
摘要: petl简介 petl是使用原生python编写的ETL包,数据操作逻辑简单,但是处理数据的速度较慢。 ETL pipelines petl包使用了大量的迭代器和延迟计算,在没有请求函数请求数据时,pipelines 不会开始处理数据。 import petl as etl table1 = etl 阅读全文
posted @ 2021-02-28 18:26 yueqiudian 阅读(1776) 评论(0) 推荐(0) 编辑
摘要: Self-Attention Multi-head self-attention 阅读全文
posted @ 2020-11-24 16:18 yueqiudian 阅读(2695) 评论(0) 推荐(0) 编辑
摘要: Sequence Generation Conditional Generation seq2seq Dynamic Conditional Generation Tips for Generation 阅读全文
posted @ 2020-11-06 20:49 yueqiudian 阅读(972) 评论(0) 推荐(1) 编辑