百里登峰 - 博客园

AirFlow性能调优

摘要：修改 airflow.cfg 配置不加载example dag load_examples = False # 这个配置只有在第一次启动airflow之前设置才有效修改检测新dag间隔最好还是修改一下，因为默认为0，没有时间间隔，很耗资源。 min_file_process_interval 阅读全文

posted @ 2020-04-10 12:06 百里登峰阅读(4735) 评论(2) 推荐(1) 编辑

AirFlow通过账号密码➕角色权限控制来登陆

摘要：在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] security = Flask AppBuilder secure_mode = True rbac=True 注意：如果在[webserver]里面有 authenticate 和 auth_ba 阅读全文

posted @ 2020-04-10 10:44 百里登峰阅读(3393) 评论(1) 推荐(0) 编辑

通过Supervisor管理airflow的webserver进程和scheduler进程

摘要：我的airflow部署在容器中，首先我们需要安装Supervisord工具 easy_install supervisor //部署在服务器上的安装命令 apt-get install supervisor //部署在容器中的安装命令在容器的目录下我们可以看到多了两个文件编辑文件supervis 阅读全文

posted @ 2020-04-10 10:31 百里登峰阅读(1363) 评论(0) 推荐(0) 编辑

配置AirFlow系统时钟与宿主进同步

摘要： Airflow自带的时区是UTC时区，通常跟当前的环境时区不一样，因此我们需要对时区进行修改。 1、修改airflow的配置文件airflow.cfg default_timezone = Asia/Shanghai 2、进入airflow包的安装位置,也就是site-packages的位置,由于我阅读全文

posted @ 2020-04-09 09:49 百里登峰阅读(1013) 评论(0) 推荐(0) 编辑

Airflow添加用户登录

摘要：通常我们部署airflow调度系统的时候，默认是直接以admin用户登录进来的，而且不需要输入账号密码如果业务要求必须通过不同的用户登录进来，可以采用以下的方法给airflow添加用户在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] authen 阅读全文

posted @ 2020-04-08 18:25 百里登峰阅读(7574) 评论(0) 推荐(0) 编辑

Airflow遇到问题 Task received SIGTERM signal

摘要：当我们在使用airflow调度系统的时候，出现以下问题 *** Reading local file: /usr/local/airflow/logs/dagabcfcdeebc7d438db4ec7ef944d19b5a_7d4ce1b2d8d84e82a6421472ce3bef48/mongo 阅读全文

posted @ 2020-03-18 11:59 百里登峰阅读(21366) 评论(2) 推荐(0) 编辑

IntelliJ IDEA集成Tomcat部署Web工程

摘要：打开IDEA,创建项目选择骨架选择本地安装的maven 项目构建好之后我们需要创建java目录创建一个java目录再创建一个资源文件创建包创建资源文件接下来部署tomcat的服务器修改一下路径配置好之后我们可以运行tomcat 遇到这么一个错误，地址以及被使用，我们修改一下端口号阅读全文

posted @ 2020-03-01 16:22 百里登峰阅读(261) 评论(0) 推荐(0) 编辑

IntelliJ IDEA构建多Module项目

摘要：打开IDEA 创建完成项目后，我们创建子模块可以看到common子模块创建成功，子模块的名字大家可以根据自己的实际需求来修改下面我们再创建子模块给子模块起个名字现在已经创建好多模块的项目了，下一步设置模块之间的依赖关系我们来设定behavior模块依赖也common模块在behavior 阅读全文

posted @ 2020-02-27 18:16 百里登峰阅读(1465) 评论(0) 推荐(0) 编辑

IDEA开发scala版本的spark程序

摘要： package com.gong import org.apache.spark.{SparkConf, SparkContext} object MyScalaWorldCount { def main(args: Array[String]): Unit = { //参数检测 if(args.l 阅读全文

posted @ 2020-02-18 17:33 百里登峰阅读(699) 评论(1) 推荐(0) 编辑

32.电视采集项目流程spark篇通过Azkaban调度spark

摘要：新建AccessLogDriverCluster类 package com.it19gong.clickproject; import java.sql.PreparedStatement; import java.util.ArrayList; import java.util.List; imp 阅读全文

posted @ 2020-02-04 16:40 百里登峰阅读(778) 评论(0) 推荐(0) 编辑

百里登风

导航

公告