大数据Azkaban失败任务预警
1 默认邮件预警案例
Azkaban 默认支持通过邮件对失败的任务进行报警,配置方法如下:
1 ) 在 azkaban-web 节 点 hadoop102 上 , 编 辑
/opt/module/azkaban/azkaban-web/conf/azkaban.properties,
修改如下内容:
[atguigu@hadoop102 azkaban-web]$ vim /opt/module/azkaban/azkaban-
web/conf/azkaban.properties
添加如下内容:
#这里设置邮件发送服务器,需要 申请邮箱,切开通 stmp 服务,以下只是例子
mail.sender=atguigu@126.com
mail.host=smtp.126.com
mail.user=atguigu@126.com
mail.password=用邮箱的授权码
2)保存并重启 web-server。
[atguigu@hadoop102 azkaban-web]$ bin/shutdown-web.sh
[atguigu@hadoop102 azkaban-web]$ bin/start-web.sh
3)编辑 basic.flow
nodes:
- name: jobA
type: command
config:
command: echo "This is an email test."
4)将 azkaban.project 和 basic.flow 压缩成 email.zip
5)创建工程=》上传文件=》执行作业=》查看结果
6)观察邮箱,发现执行成功或者失败的邮件
2 电话预警案例
2.1 第三方告警平台集成
有时任务执行失败后邮件报警接收不及时,因此可能需要其他报警方式,比如电话报警。
如有类似需求,可与第三方告警平台进行集成,例如睿象云。
1)进入睿象云官网注册账号并登录
官网地址:https://www.aiops.com/
2)集成告警平台,使用 Email 集成
3)获取邮箱地址,后边需将报警信息发送至该邮箱
4)配置分派策略
5)配置通知策略
2.2 测试
执行上一个邮件通知的案例,将通知对象改为刚刚集成第三方平台时获取的邮箱。