银河麒麟系统申威cpu 部署airflow2
摘要：一、准备Python3环境 通过修改系统的软链接，使默认python版本指向python3，这个方法是利用系统自带的python版本就行修改 1. whereis python //查看系统自带的python 2. 3. cd /usr/bin 4. 5. rm -rf python //删除默认的
阅读全文
posted @ 2022-11-11 10:53
随笔分类 - AirFlow
通过Dockerfile部署airflow容器
摘要：部署airflow容器讲究轻量化 分三个模块 1、部署airflow 2、安装rest-api插件 3、设置airflow的时钟与系统时钟同步 先拉取一个airflow的基础镜像 rest-api插件的安装包下载到本地服务器，详情可以参考 https://www.cnblogs.com/bravey
阅读全文
posted @ 2020-08-14 17:46
airflow HiveOperator实例
摘要：此实例的测试环境是airflow部署在服务器而不是部署在容器 hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任 务进行运行。在 airflow 中调用 hive 任务，首
阅读全文
posted @ 2020-06-02 14:53
AirFlow性能调优
摘要：修改 airflow.cfg 配置 不加载example dag load_examples = False # 这个配置只有在第一次启动airflow之前设置才有效 修改检测新dag间隔 最好还是修改一下，因为默认为0，没有时间间隔， 很耗资源。 min_file_process_interval
阅读全文
posted @ 2020-04-10 12:06
AirFlow通过账号密码➕角色权限控制来登陆
摘要：在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] security = Flask AppBuilder secure_mode = True rbac=True 注意：如果在[webserver]里面有 authenticate 和 auth_ba
阅读全文
posted @ 2020-04-10 10:44
通过Supervisor管理airflow的webserver进程和scheduler进程
摘要：我的airflow部署在容器中，首先我们需要安装Supervisord工具 easy_install supervisor //部署在服务器上的安装命令 apt-get install supervisor //部署在容器中的安装命令 在容器的目录下我们可以看到多了两个文件 编辑文件supervis
阅读全文
posted @ 2020-04-10 10:31
配置AirFlow系统时钟与宿主进同步
摘要：Airflow自带的时区是UTC时区，通常跟当前的环境时区不一样，因此我们需要对时区进行修改。 1、修改airflow的配置文件airflow.cfg default_timezone = Asia/Shanghai 2、进入airflow包的安装位置,也就是site-packages的位置,由于我
阅读全文
posted @ 2020-04-09 09:49
Airflow添加用户登录
摘要：通常我们部署airflow调度系统的时候，默认是直接以admin用户登录进来的，而且不需要输入账号密码 如果业务要求必须通过不同的用户登录进来，可以采用以下的方法给airflow添加用户 在 airflow.cfg 文件中 [webserver] 下添加如下配置 [webserver] authen
阅读全文
posted @ 2020-04-08 18:25
Airflow遇到问题 Task received SIGTERM signal
摘要：当我们在使用airflow调度系统的时候，出现以下问题 *** Reading local file: /usr/local/airflow/logs/dagabcfcdeebc7d438db4ec7ef944d19b5a_7d4ce1b2d8d84e82a6421472ce3bef48/mongo
阅读全文
posted @ 2020-03-18 11:59
AirFlow初始化的时候遇到 Global variable explicit_defaults_for_timestamp needs to be on (1) for mysql
摘要：在安装airflow后，初始化遇到这样的问题 解决方法：进入mysql airflow 数据库，设置global explicit_defaults_for_timestamp
阅读全文
posted @ 2020-01-09 09:52
airflow安装rest api插件发现airflow webserver服务不能启动的解决办法
摘要：安装插件airflow-rest-api 1）获取wget https://github.com/teamclairvoyant/airflow-rest-api-plugin/archive/master.zip2）将plugins文件夹下的内容放入airflow/plugins/下，若不存在则新
阅读全文
posted @ 2019-12-19 18:50
在airflow的BashOperator中执行docker容器中的脚本容易忽略的问题
摘要：dag模板 在调度的时候日志报这样的错误 其实问题就出在这 用定时任务执行docker命令的脚本的时候报错如上标题,tty(终端设备的统称): tty一词源于Teletypes,或teletypewriters。 这个的意思是说后台linux执行的时候没有终端设备。我们一般执行docker里的命令时
阅读全文
posted @ 2019-12-05 10:30
AirFlow后台运行调度程序
摘要：nohup airflow scheduler>>$AIRFLOW_HOME/airflow-scheduler.log 2>&1 &
阅读全文
posted @ 2019-12-04 15:42
Airflow怎么删除系统自带的DAG任务
摘要：点击这个按钮 找到dag文件所在路径，并进入路径将其文件删除即可
阅读全文
posted @ 2019-12-04 14:10
airflow删除dag不在页面显示
摘要：当我们需要把dag删除的时候，遇到了删除了相应的dag文件，但页面还是显示 这个时候需要重启airflow 的webserver
阅读全文
posted @ 2019-11-21 10:40
在docker容器下安装airflow
摘要：本人的环境是基于centos7下来安装的 一、安装docker 下载docker安装包，下载地址：https://download.docker.com/linux/static/stable/x86_64/ 下载到本地后解压 tar -zxf docker-18.09.6.tgz 将解压出来的do
阅读全文
posted @ 2019-10-15 21:13
AirFlow功能展示个人笔记
摘要：DAGs 查看您可以一目了然地查看成功、失败及当前正在运行的任务数量。 选中其中一个DAG 树视图 跨越时间的 DAG 的树表示。如果 pipeline（管道）延迟了，您可以很快地看到哪里出现了错误的步骤并且辨别出堵塞的进程。 图表视图 图形视图可能是最全面的一种表现形式了。它可以可视化您的 DAG
阅读全文
posted @ 2019-08-29 18:04
airflow 安装配置celery+rabbitmq celery+redis
摘要：AirFlow的安装可以参考：https://www.cnblogs.com/braveym/p/11378851.html 这里介绍的是AirFlow 安装配置celery+rabbitmq 和 celery+redis 一、airflow 安装配置celery+rabbitmq 1、安装cele
阅读全文
posted @ 2019-08-21 15:11
Centos7 安装部署 Airflow
摘要：本人在centos7 的环境下部署，怎么在centos7 下配置静态 IP 关闭防火墙 以及安装jdk在这里不多赘述， centos7 配置静态ip可以参考:https://www.cnblogs.com/braveym/p/8523100.html 和 https://www.cnblogs.co
阅读全文
posted @ 2019-08-20 17:58
