|NO.Z.00016|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Airflow.v03|禁用默认的DAG任务|

一、Airflow.UI界面概述
### --- Airflow.UI界面概述

~~~     Trigger Dag:人为执行触发
~~~     Tree View:当dag执行的时候,可以点入,查看每个task的执行状态(基于树状视图)。
~~~     状态:success、running、failed、skipped、retry、queued、no status
~~~     Graph View:基于图视图(有向无环图),查看每个task的执行状态
~~~     Tasks Duration:每个task的执行时间统计,可以选择最近多少次执行
~~~     Task Tries:每个task的重试次数
~~~     Gantt View:基于甘特图的视图,每个task的执行状态
~~~     Code View:查看任务执行代码
~~~     Logs:查看执行日志,比如失败原因
~~~     Refresh:刷新dag任务
~~~     Delete Dag:删除该dag任务
二、禁用自带的DAG任务:查看Airflow自带的DAG任务
### --- 停止服务:

~~~     # 关闭 airflow webserver 对应的服务
(env) [root@hadoop02 ~]# ps -ef | grep 'airflow-webserver' | grep -v 'grep' | awk '{print $2}' | xargs -i kill -9 {}
~~~     # 关闭 airflow scheduler 对应的服务
(env) [root@hadoop02 ~]# ps -ef | grep 'airflow' | grep 'scheduler' | awk '{print $2}' | xargs -i kill -9 {}
~~~     # 删除对应的pid文件

(env) [root@hadoop02 ~]# cd $AIRFLOW_HOME
(env) [root@hadoop02 airflow]# rm -rf *.pid
### --- 修改文件 $AIRFLOW_HOME/airflow.cfg:

(env) [root@hadoop02 ~]# vim /opt/yanqi/servers/airflow/airflow.cfg
# load_examples = True                              # 修改文件第 136 行
load_examples = False
~~~     # 重新设置db

(env) [root@hadoop02 ~]# airflow resetdb -y
### --- 重新设置账户、口令:

~~~     # 进入python3环境
(env) [root@hadoop02 ~]# python
Python 3.6.6 (default, Oct 10 2021, 17:38:16)

import airflow
from airflow import models, settings
from airflow.contrib.auth.backends.password_auth import PasswordUser

user = PasswordUser(models.User())
user.username = 'airflow'
user.email = 'yanqi_vip@yeah.net'
user.password = 'airflow123'
session = settings.Session()
session.add(user)
session.commit()
session.close()
exit()
### --- 重启服务

~~~     # 重启服务
(env) [root@hadoop02 ~]# airflow scheduler -D
(env) [root@hadoop02 ~]# airflow webserver -D
### --- 登录airflow.UI界面查看DAG任务

~~~     访问地址:http://hadoop02:8080/admin/    账户:airflow,密码:airflow123
~~~     默认DAG任务已经被禁用掉了


 
 
 
 
 
 
 
 
 

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
                                                                                                                                                   ——W.S.Landor

 

posted on   yanqi_vip  阅读(48)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· DeepSeek 开源周回顾「GitHub 热点速览」
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示