Airflow分布式部署
airflow分布式部署所依赖的组件有mysql,redis,web-server,scheduler,worker等,可以将这些组件部署在不同的机器上,来减低单台机器的压力
单机安装请参考:Ubuntu16.04安装apache-airflow
然后在不同的机器上启动不同的组件
airflow webserver -D airflow scheduler -D airflow worker -D
安装airflow其他支持组件,比如airflow-kerberos,参考
https://awesome.dbyun.net/study/details?mid=160&id=7427
airflow启用kerberos,参考
https://github.com/astronomer/airflow-guides/blob/main/guides/kerberos.md
本文只发表于博客园和tonglin0325的博客,作者:tonglin0325,转载请注明原文链接:https://www.cnblogs.com/tonglin0325/p/5287266.html