随笔分类 -  调度系统

摘要:Airflow Console: https://github.com/Ryan-Miao/airflow-console Apache Airflow扩展组件, 可以辅助生成dag, 并存储到git仓库. Airflow提供了基于python语法的dag任务管理,我们可以定制任务内容 和任务依赖. 阅读全文
posted @ 2020-07-29 18:07 Ryan.Miao 阅读(5494) 评论(4) 推荐(2) 编辑
摘要:Airflow自定义插件 =============== Airflow之所以受欢迎的一个重要因素就是它的插件机制。Python成熟类库可以很方便的引入各种插件。在我们实际工作中,必然会遇到官方的一些插件不足够满足需求的时候。这时候,我们可以编写自己的插件。不需要你了解内部原理,甚至不需要很熟悉Py 阅读全文
posted @ 2019-09-30 13:39 Ryan.Miao 阅读(6186) 评论(0) 推荐(1) 编辑
摘要:前文 "Airflow的第一个DAG" 已经跑起来了我们的第一个任务. 本文就来丰富这个任务. 回顾我们的任务内容 我们定义了DAG的名称为 , 这个叫 , 补充说明description 定义了调度间隔schedule_interval, 这是一个cron表达式 引入了一个bash任务 有一个重要 阅读全文
posted @ 2019-09-29 19:26 Ryan.Miao 阅读(5130) 评论(0) 推荐(1) 编辑
摘要:Airflow的第一个DAG ================= 考虑了很久,要不要记录airflow相关的东西, 应该怎么记录. 官方文档已经有比较详细的介绍了,还有各种博客,我需要有一份自己的笔记吗? 答案就从本文开始了. 本文将从一个陌生视角开始认知airflow,顺带勾勒出应该如何一步步搭建 阅读全文
posted @ 2019-09-09 08:48 Ryan.Miao 阅读(12674) 评论(0) 推荐(2) 编辑

点击右上角即可分享
微信分享提示