1.基于HDP大数据环境的搭建
摘要：版本规划 安装VirtualBox 然后直接一路下一步 选择一下安装路径 这时VirtualBox会自动运行，主界面如下 ： 安装VirtualBox Extension Pack VirtualBox的一些高级特性依赖于VirtualBox Extension Pack，接下来我们安装它。在Vir
阅读全文
posted @ 2020-04-17 00:14
04 2020 档案
AirFlow性能调优
摘要：修改 airflow.cfg 配置 不加载example dag load_examples = False # 这个配置只有在第一次启动airflow之前设置才有效 修改检测新dag间隔 最好还是修改一下，因为默认为0，没有时间间隔， 很耗资源。 min_file_process_interval
阅读全文
posted @ 2020-04-10 12:06
AirFlow通过账号密码➕角色权限控制来登陆
摘要：在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] security = Flask AppBuilder secure_mode = True rbac=True 注意：如果在[webserver]里面有 authenticate 和 auth_ba
阅读全文
posted @ 2020-04-10 10:44
通过Supervisor管理airflow的webserver进程和scheduler进程
摘要：我的airflow部署在容器中，首先我们需要安装Supervisord工具 easy_install supervisor //部署在服务器上的安装命令 apt-get install supervisor //部署在容器中的安装命令 在容器的目录下我们可以看到多了两个文件 编辑文件supervis
阅读全文
posted @ 2020-04-10 10:31
配置AirFlow系统时钟与宿主进同步
摘要：Airflow自带的时区是UTC时区，通常跟当前的环境时区不一样，因此我们需要对时区进行修改。 1、修改airflow的配置文件airflow.cfg default_timezone = Asia/Shanghai 2、进入airflow包的安装位置,也就是site-packages的位置,由于我
阅读全文
posted @ 2020-04-09 09:49
Airflow添加用户登录
摘要：通常我们部署airflow调度系统的时候，默认是直接以admin用户登录进来的，而且不需要输入账号密码 如果业务要求必须通过不同的用户登录进来，可以采用以下的方法给airflow添加用户 在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] authen
阅读全文
posted @ 2020-04-08 18:25
