摘要: airflow是一个常驻任务,我们希望它在任务失败后可以自动重启,systemd可以帮助我们实现这个功能,首先需要配置如下文件 /etc/sysconfig/airflow AIRFLOW_CONFIG=/root/airflow/airflow.cfg AIRFLOW_HOME=/root/air 阅读全文
posted @ 2020-11-04 15:43 Mars.wang 阅读(1332) 评论(0) 推荐(0) 编辑
摘要: 前面三步做完以后,就可以配置airflow的环境变量了 在此之前,可能需要先安装下依赖包 yum install mysql-devel gcc gcc-devel python-devel 之后切换到python36 conda activate py36 找到airflow的安装目录,配置到环境 阅读全文
posted @ 2020-11-04 13:22 Mars.wang 阅读(2813) 评论(0) 推荐(0) 编辑
摘要: airflow一般以rabbitMQ或redis作为broker,rabbitMQ安装比较复杂,故本次选了redis yum -y install redis sudo vim /etc/redis.conf #bind 127.0.0.1 // 注释掉,使redis允许远程访问 #修改密码为air 阅读全文
posted @ 2020-11-04 11:46 Mars.wang 阅读(1119) 评论(0) 推荐(0) 编辑
摘要: airflow生产环境一般以mysql作为元数据库,所以需要安装mysql 下载mysql的repo源 wget -P /root http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm #通过rpm安装 rpm -ivh mys 阅读全文
posted @ 2020-11-04 11:43 Mars.wang 阅读(626) 评论(0) 推荐(0) 编辑
摘要: 一、Python环境安装 airflow依赖Python3,所以安装之前需要保证服务器有Python环境 #安装Python3 #安装依赖环境 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel 阅读全文
posted @ 2020-11-04 11:37 Mars.wang 阅读(1198) 评论(0) 推荐(0) 编辑