摘要：kestra 官方是提供了基于docker-compose 运行的模版，以下主要是体验下，实际上kestra 提供的一些能力还是很强大的 尤其是强大的插件开发能力 环境准备 docker-compose 文件 volumes: postgres-data: driver: local kestra- 阅读全文

摘要：今天我有简单说明过一个mage-ai 的airflow 替换方案，kestra 是另外一个可选方案kestra 使用了yaml 进行piepline 的配置，当然我们也可以直接在ui 中操作，kestra包含了自己的插件系统 适合的业务场景 数据调度 分布式调度 事件驱动workflow 说明 ke 阅读全文

摘要：airflow 是一个很不错的workflow 调度工具，但是实际使用还是有一些问题的。astronomer 基于airflow 做了一些扩展，可以实现airflow安全，产品级，可靠以及可扩展 一些说明 astronomer 也是基于开源的组件做了一些包装，比如graphql的，helm，ngin 阅读全文

摘要：转自：https://www.stitchdata.com/blog/supercharging-etl-with-airflow-and-singer/ singer 团队关于singer 与airflow 集成的文章 Earlier this year we introduced Singer, 阅读全文

摘要：使用airflow-operator 我们可以让airflow 可以很方便的运行在k8s集群环境中，当前还在开发中 主要分为两部分：airflowbbase && airfowcluster 自定义资源。 可以用来做以下事情： 创建&&管理airflow 部署的k8s 资源 更新关联的k8s资源，当 阅读全文

摘要：airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。 airflow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时， airflow 阅读全文