随笔分类 -  airflow

Airflow Dags 执行时间的统计
摘要:执行SQL: 阅读全文
posted @ 2019-11-01 14:26 lshan 阅读(981) 评论(0) 推荐(0) 编辑
Airflow 的登录配置
摘要:参考:http://www.360doc.com/content/18/0206/20/33459258_728200560.shtml 阅读全文
posted @ 2019-10-31 00:08 lshan 阅读(803) 评论(0) 推荐(0) 编辑
airflow CeleryExecutor 配置(2)
摘要:celery 是分布式任务队列,与调度工具 airflow 强强联合,可实现复杂的分布式任务调度,这就是 CeleryExecutor,有了 CeleryExecutor,你可以调度本地或远程机器上的作业,实现分布式任务调度。本文介绍如何配置 airflow 的 CeleryExecutor 操作步 阅读全文
posted @ 2019-10-31 00:05 lshan 阅读(991) 评论(0) 推荐(0) 编辑
airflow使用mysql数据库,LocalExecutor并发调度(1)
摘要:安装Mysql (否则后面 pip install mysql) 无法安装 pip 依赖: airflow-LocalExecutor mysql-airflow pip install mysqlclient 在mysql上执行 create database airflow; —— 创建数据库 阅读全文
posted @ 2019-10-30 23:41 lshan 阅读(1765) 评论(0) 推荐(0) 编辑
airflow 的安装与配置(1)
摘要:使用请参考官网: https://airflow.apache.org/ 具体配置,依赖,可以参考:https://www.jianshu.com/p/5c17846835e7 0. 环境: python 3.7 1.设置环境变量: 默认的配置 如果不修改airflow 配置文件 $AIRFLOW_ 阅读全文
posted @ 2019-10-29 12:09 lshan 阅读(1719) 评论(0) 推荐(0) 编辑
Airflow Dags task 的复杂排序
该文被密码保护。
posted @ 2019-10-24 23:59 lshan 阅读(1) 评论(0) 推荐(0) 编辑
airflow-kafka-use-demo
该文被密码保护。
posted @ 2019-10-23 18:11 lshan 阅读(5) 评论(0) 推荐(0) 编辑
airflow xcom 数据传递
摘要:t1 写入参数, t2 获取参数 阅读全文
posted @ 2019-10-22 17:31 lshan 阅读(4396) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示