airflow的集群部署
如果你是在python的虚拟环境部署可以参考这篇文章
因为我是集群的复制，所以我从原来集群上复制了虚拟环境，上传到新的hadoop01 机器 airflow_venv.tar.gz就是集群的虚拟环境，需要上传到每一台机器解压。因为这个虚拟环境是之前集群正在使用的，所以各种包都是很齐全的不会出现包不存在的现象。
如何确定要部署的airflow的家目录，在部署之前先配置airflow的家目录
[admin@test-hadoop01 ~]$ vim ~/.bash_profile export AIRFLOW_HOME=/home/admin/program/airflow source ~/.bash_profile #一定不要忘
或者干脆直接执行
[admin@test-hadoop01 ~]$ export AIRFLOW_HOME=/home/admin/program/airflow
然后初始化（因为我们是在虚拟环境进行的所以首先要进入虚拟环境，前提是你的airflow已经安装）
[admin@test-hadoop01 airflow_venv]$ pwd /home/admin/program/airflow_venv [admin@test-hadoop01 airflow_venv]$ source bin/activate (airflow_venv) [admin@test-hadoop01 airflow_venv]$ airflow initdb
如果最后出现done那么就是成功的，否则就是失败，具体原因一般就是缺少各种包，这个过程需要你自己克服
初始化完成以后
airflow这个目录就会出现在你预先设置的家目录下
这个时候你需要进行最终要的配置工作
cd $AIRFLOW_HOME
$vim airflow.cfg
(这是一个很简单的过程，我看网上有很多部署感觉好难，可能是我的环境比较完整所以部署过程会方便很多)
我部署的时候的主要报错就是连接mysql的过程所以主要的部署就以下几个参数
sql_alchemy_conn 数据库连接方式 broker_url 队列的存储 result_backend 状态的存储 sql_alchemy_conn = mysql+mysqldb://airflow:Caocao1818.cn@test-hadoop01:3306/airflow broker_url = sqla+mysql://airflow:Caocao1818.cn@test-hadoop01:3306/airflow result_backend = db+mysql://airflow:Caocao1818.cn@test-hadoop01:3306/airflow values的构成是airflow:Caocao1818.cn@test-hadoop01:3306/airflow 第一个airflow是用户名 Caocao1818.cn是密码 test-hadoop01mysql所在库的机器名 airflow是mysql中的库名 airflow的用户名和airflow的库名都需要你自己提前创建
这三个部署完基本上能保证你的airflow的web能启动了
下面给你一个web的启动脚本
#!/bin/bash source /home/admin/program/airflow_venv/bin/activate #启动进入虚拟环境 export AIRFLOW_HOME=/home/admin/program/airflow
确定家目录 exec /home/admin/program/airflow_venv/bin/airflow webserver 执行web命令
启动成功以后启动schedule
#!/bin/bash source /home/admin/.bash_profile source /home/admin/program/airflow_venv/bin/activate export AIRFLOW_HOME=/home/admin/program/airflow
exec /home/admin/program/airflow_venv/bin/airflow scheduler
最后启动worker
#!/bin/bash source /home/admin/.bash_profile source /home/admin/program/airflow_venv/bin/activate export AIRFLOW_HOME=/home/admin/program/airflow exec /home/admin/program/airflow_venv/bin/airflow worker
启动到这你就成功一半了。
如果你有其他机器需要启动worker那么你需要把刚刚这个主节点的airflow.cfg sz下来然后上传到其他节点的airflow路下 如果你不知道在哪，用find -name airflow命令搜索一下
然后执行 启动worker的脚本
#!/bin/bash source /home/admin/.bash_profile source /home/admin/program/airflow_venv/bin/activate export AIRFLOW_HOME=/home/admin/program/airflow exec /home/admin/program/airflow_venv/bin/airflow worker
如果以上步骤都执行完毕，那么部署完成了，恭喜啦！！！！！
airflow的参数大全简介：
