Airflow入门及安装

参考：

• Airflow 入门及使用
• 官方文档

Airflow 是什么？

使用Python语言编写的 data pipeline 调度和监控工作流的平台，是通过DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具。

Airflow 解决哪些问题？

crontab 可以很好地处理定时执行任务的需求，但仅能管理时间上的依赖。

而Airflow的核心概念是DAG（有向无环图），因此可以解决任务间的依赖问题，也同样支持完整的crontab表达式。

Airflow 安装配置

1.安装airflow

pip install apache-airflow

2.指定airflow目录

export AIRFLOW_HOME=/Users/xuzhanhong/Development/airflow

3.初始化数据库

airflow db init

初始化成功之后就可以在airflow目录下看到自动生成以下几个文件：

Web UI

创建账户：

# 直接参考官方文档
airflow users create \
    --username admin \
    --firstname Peter \
    --lastname Parker \
    --role Admin \
    --email spiderman@superhero.org

接着就会弹出让你设置用户密码：

123456

创建完用户后，通过输入以下命令，即可启动Web UI界面：

airflow webserver

默认访问链接：http://0.0.0.0:8080

输入刚刚创建的用户账户及密码，即可进入主页：