Linux(rethat)安装airflow(踩坑记录)
参考博客
https://www.cnblogs.com/lyhtbc/p/airflow-spark-schedule.html
汉化
https://blog.csdn.net/zwahut/article/details/90602476?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2
官方文档
https://airflow.apache.org/docs/apache-airflow/stable/start/local.html
安装:
系统 rethat6.5
python3.6.8 推荐3.7+
airflow 2.2.3
创建环境:
python3 -m venv airflow
source airflow/bin/activate
最好升级下pip
pip3 install --upgrade pip
开始安装:
# 指定airflow 配置相关文件目录 export AIRFLOW_HOME=~/airflow # 安装apache-airflow pip3 install apache-airflow # 修改配置用于连接mysql vim $AIRFLOW_HOME/airflow.cfg # sql_alchemy_conn = mysql://username:password@host:3306/database sql_alchemy_conn = mysql://airflow:password@localhost:3306/airflow # 连接mysql,创建database 和 user # 创建airflow user create user 'airflow'@'%' identified by 'password'; grant all privileges on airflow.* to 'airflow'@'%'; flush privileges; # 或者是 set global explicit_defaults_for_timestamp = 1; set explicit_defaults_for_timestamp = 1; # 切换 airflow 用户 创建 airflow database create database airflow CHARACTER SET = utf8mb4; # 注意mysql 版本 mysql5.1 就不支持 utf8mb4 建议5.6 及以上 # 初始化airflow数据库 airflow db init # 这里可能会出现 need global explicit_defaults_for_timestamp on (1) 使用注释的那一句 set global explicit_defaults_for_timestamp # 创建airflow 用户 airflow users create \ --username admin \ --password admin \ --firstname Peter \ --lastname Parker \ --role Admin \ --email xxxxxxx.com # 启动 airflow airflow webserver --port 8080 这里会报错 nomodel named MySQLdb rethat6.5 python3解决方案: `pip install mysqlclient==1.4.4` 直接安装新版本编译出错 ubuntu python3: `sudo apt-get install python3-mysqldb` # 启动scheduler airflow scheduler 简单安装完成快去登录吧 localhost:8080
使用Celery 的坑
如果
设置 executor = CeleryExecutor 之后 启动 worker
airflow celery worker
报错 no model named psycopg2
pip install psycopg2 gcc报错
pip install psycopg2-binary gcc报错
需要升级 postgresql >=9.1
升级postgresql相关
参考:
CSDN
airflow webserver -D airflow scheduler -D airflow celery worker -D airflow celery flower -D
进一步详细的请参考官方文档(上文第三个链接)和博客 (上文第一个链接)
功能说明解释:
http://t.zoukankan.com/braveym-p-11428952.html
https://www.cnblogs.com/cord/p/9450910.html
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步