史上最完整的AirFlow2.1.2版本安装教程

hello,大家好,我是阿周,上周我们讲解了AirFlow的一些基本概念,请看文章:学会AirFlow调度工作流平台,让你告别加班,老板还会升值加薪,但是只知道理论知识是不行的,所以接下来我将带领大家一块安装部署,通过实战学会airflow。

1、Anaconda环境准备
由于Airflow2.1.2版本依赖于python3高阶版本,但是服务器中一般默认python2.7.5版本,如下图:

 

 所以,我们直接通过部署miniconda,创建虚拟python3环境就可以满足airflow的要求。

 1.1、 下载miniconda版本

yum install -y wget
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

 

 

 

 1.2 安装 minicopnda

直接在服务器中安装下载的miniconda

sh Miniconda3-latest-Linux-x86_64.sh

1.3、 一直按 enter 键,然后输入 yes,最后输入n

1.4 配置conda环境变量

1.4.1 配置conda环境变量

vi /etc/profile

export MINICONDA_HOME=/root/miniconda3
export PATH=$PATH:$MINICONDA_HOME/bin

#刷新配置
source /etc/profile

  

1.5、 配置conda 镜像源

conda config --set show_channel_urls yes
vi  ~/.condarc
##添加下面内容
channels:
  - https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
  - defaults
show_channel_urls: true

1.6、 安装jupyter (miniconda3默认没有jupyter ,完整版的Anaconda3有jupyter,所以根据版本忽略)

pip install jupyter

1.7、 配置jupyter

""" 第一步 生成配置文件 """
jupyter notebook --generate-config --allow-root     //配置文件生成在:/root/.jupyter/jupyter_notebook_config.py
""" 第二步 生成密码 """
jupyter notebook password       //密码设置的是 123456  自己设置   文件生成在 /root/.jupyter/jupyter_notebook_config.json
""" 第三步 编辑/root/.jupyter/jupyter_notebook_config.py文件 """
vim  /root/.jupyter/jupyter_notebook_config.py
c.NotebookApp.ip = '192.168.244.161'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8888
c.NotebookApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$Z4FzhnirRGrPwhwg2oWa9A$b5KuKRMr9l+zyK2I0W6KCA'
 //该密码在上面有生成

 

 

 

 1.8、关闭防火墙

systemctl stop firewall

2、Mysql数据库安装

 这里跳转到我写的一片mysql的笔记

3、mysql-connector-java-5.1.39 上传整理(我暂时没有用到这部分)

3.1、在对话框中都创建java目录

mkdir /usr/share/java

3.2上传jar包,百度云如下:
链接:
https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA

提取码:c4hk

将mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下

3.3 修改jar名称

mv mysql-connector-java-5.1.39.jar   mysql-connector-java.jar

 

 4、创建AirFlow环境

由于上面我们已经安装好Miniconda,所以现在可以创建任意python版本的项目

4.1、 新建AirFlow项目 。使用python3.7.5

# 新建项目
conda create -n airflow python==3.7.5
#进入创建的airflow项目中
source activate airflow

 

 

4.2、安装airflow依赖

pip install apache-airflow
pip install apache-airflow[mysql]

4.3、生成airflow映射目录

airflow -h

 

 

 

 4.4、 进入airflow目录中,修改airflow.cfg配置

#配置连接mysql   30行
sql_alchemy_conn = mysql://root:123456@192.168.244.182:3306/airflow
 
#配置登录ip和端口号  460行
web_server_host = 192.168.244.182
 
#设置airflow用户名和密码
#在[webserver]下面配置  447行
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth

4.5、 执行命令,设置airflow登录页面用户名和密码

#用户名:admin
#邮箱 admin@qq.com
#密码:admin
airflow users create  --lastname user --firstname admin --username admin --email admin@qq.com --role Admin --password admin

4.6、 初始化airflow 数据库

airflow db init

4.7关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

4.8、 启动airflow集群

airflow webserver --port 8080

 

 4.9、 输入用户名admin,密码:admin

 

 

 

 

 




 
posted @ 2021-09-14 15:33  vekair  阅读(1208)  评论(0编辑  收藏  举报