史上最完整的AirFlow2.1.2版本安装教程
hello，大家好，我是阿周，上周我们讲解了AirFlow的一些基本概念，请看文章：学会AirFlow调度工作流平台，让你告别加班，老板还会升值加薪，但是只知道理论知识是不行的，所以接下来我将带领大家一块安装部署，通过实战学会airflow。
1、Anaconda环境准备
由于Airflow2.1.2版本依赖于python3高阶版本，但是服务器中一般默认python2.7.5版本，如下图：
所以，我们直接通过部署miniconda,创建虚拟python3环境就可以满足airflow的要求。
1.1、 下载miniconda版本
yum install -y wget wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
1.2 安装 minicopnda
直接在服务器中安装下载的miniconda
sh Miniconda3-latest-Linux-x86_64.sh
1.3、 一直按 enter 键，然后输入 yes，最后输入n
1.4 配置conda环境变量
1.4.1 配置conda环境变量
vi /etc/profile
export MINICONDA_HOME=/root/miniconda3 export PATH=$PATH:$MINICONDA_HOME/bin #刷新配置 source /etc/profile
1.5、 配置conda 镜像源
conda config --set show_channel_urls yes vi ~/.condarc ##添加下面内容
channels: - https://mirrors.ustc.edu.cn/anaconda/pkgs/free/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free - defaults show_channel_urls: true
1.6、 安装jupyter （miniconda3默认没有jupyter ,完整版的Anaconda3有jupyter,所以根据版本忽略）
pip install jupyter
1.7、 配置jupyter
""" 第一步 生成配置文件 """ jupyter notebook --generate-config --allow-root //配置文件生成在：/root/.jupyter/jupyter_notebook_config.py """ 第二步 生成密码 """ jupyter notebook password //密码设置的是 123456 自己设置 文件生成在 /root/.jupyter/jupyter_notebook_config.json """ 第三步 编辑/root/.jupyter/jupyter_notebook_config.py文件 """ vim /root/.jupyter/jupyter_notebook_config.py c.NotebookApp.ip = '192.168.244.161' c.NotebookApp.open_browser = False c.NotebookApp.port = 8888 c.NotebookApp.password = 'argon2:$argon2id$v=19$m=10240,t=10,p=8$Z4FzhnirRGrPwhwg2oWa9A$b5KuKRMr9l+zyK2I0W6KCA' //该密码在上面有生成
1.8、关闭防火墙
systemctl stop firewall
2、Mysql数据库安装
这里跳转到我写的一片mysql的笔记
3、mysql-connector-java-5.1.39 上传整理（我暂时没有用到这部分）
3.1、在对话框中都创建java目录
mkdir /usr/share/java
3.2上传jar包，百度云如下：
链接：
https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA
提取码：c4hk
将mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下
3.3 修改jar名称
mv mysql-connector-java-5.1.39.jar mysql-connector-java.jar
4、创建AirFlow环境
由于上面我们已经安装好Miniconda,所以现在可以创建任意python版本的项目
4.1、 新建AirFlow项目 。使用python3.7.5
# 新建项目 conda create -n airflow python==3.7.5 #进入创建的airflow项目中 source activate airflow
4.2、安装airflow依赖
pip install apache-airflow pip install apache-airflow[mysql]
4.3、生成airflow映射目录
airflow -h
4.4、 进入airflow目录中，修改airflow.cfg配置
#配置连接mysql 30行 sql_alchemy_conn = mysql://root:123456@192.168.244.182:3306/airflow #配置登录ip和端口号 460行 web_server_host = 192.168.244.182 #设置airflow用户名和密码 #在[webserver]下面配置 447行 authenticate = True auth_backend = airflow.contrib.auth.backends.password_auth
4.5、 执行命令，设置airflow登录页面用户名和密码
#用户名：admin #邮箱 admin@qq.com #密码：admin airflow users create --lastname user --firstname admin --username admin --email admin@qq.com --role Admin --password admin
4.6、 初始化airflow 数据库
airflow db init
4.7关闭防火墙
systemctl stop firewalld systemctl disable firewalld
4.8、 启动airflow集群
airflow webserver --port 8080
4.9、 输入用户名admin,密码：admin
