百里登风

导航

2020年4月10日

AirFlow性能调优

摘要: 修改 airflow.cfg 配置 不加载example dag load_examples = False # 这个配置只有在第一次启动airflow之前设置才有效 修改检测新dag间隔 最好还是修改一下,因为默认为0,没有时间间隔, 很耗资源。 min_file_process_interval 阅读全文

posted @ 2020-04-10 12:06 百里登峰 阅读(4735) 评论(2) 推荐(1) 编辑

AirFlow通过账号密码➕角色权限控制来登陆

摘要: 在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] security = Flask AppBuilder secure_mode = True rbac=True 注意:如果在[webserver]里面有 authenticate 和 auth_ba 阅读全文

posted @ 2020-04-10 10:44 百里登峰 阅读(3393) 评论(1) 推荐(0) 编辑

通过Supervisor管理airflow的webserver进程和scheduler进程

摘要: 我的airflow部署在容器中,首先我们需要安装Supervisord工具 easy_install supervisor //部署在服务器上的安装命令 apt-get install supervisor //部署在容器中的安装命令 在容器的目录下我们可以看到多了两个文件 编辑文件supervis 阅读全文

posted @ 2020-04-10 10:31 百里登峰 阅读(1363) 评论(0) 推荐(0) 编辑