在centos上用mysql作数据库 搭建airflow

pip install apache-airflow

注意点:

0. airflow 对python lib的版本要求很奇怪,会要求一些老版本的lib,导致和其他软件冲突,建议使用 “python -m venv airflow-venv”为它创建单独的环境。

1. airflow 默认用sqlite作数据库,2.0版本的airflow对sqlite的版本要求较高(>3.15)

2. airflow可以不用sqlite,用其他数据库

3. 环境变量 "AIRFLOW_HOME" 很重要,执行airflow命令时,读取配置文件的路径就是根据该环境变量确定。建议配置到 /etc/profile

4. 根据你python的版本要下一个constraints-X.X.txt的文件,用于安装。

以下假设AIRFLOW_HOME=/opt/airflow

第一步:

# bash shell
export AIRFLOW_HOME=/opt/airflow

AIRFLOW_VERSION=2.0.1
PYTHON_VERSION=3.7

pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint constraints-${PYTHON_VERSION}.txt  # txt文件要预先下载 (e.g. https://raw.githubusercontent.com/apache/airflow/constraints-2.0.1/constraints-3.7.txt)

第二步:mysql建一个空白数据库<

posted @ 2021-05-08 17:35  爱知菜  阅读(22)  评论(0编辑  收藏  举报