Apache DolphinScheduler使用规范与使用技巧分享
本次分享来源2021年9月4日杨佳豪同学,给大家带来的分享是基于 Apache DolphinScheduler
使用规范与使用技巧分享,分享的内容主要为以下五点:
“
DolphinScheduler基本部署情况
DolphinScheduler使用规范
DolphinScheduler工作流维护
DolphinScheduler调度依赖划分
DolphinScheduler运维维护
1 基本部署情况
DolphinScheduler 部署情况:
目前采用1.3.3版本,于2020.11月开始使用
整套平台基础CDH 6.3.2 离线hive 进行调度,目前有三套独立调度平台环境 ,dev和test 共用在一起,uat ,prd,分别单独部署
dev 、 test 环境:
部署在一台 16C/64G 的服务器上
uat 环境:
部署在三台 32C / 64G 的服务器 ,部署了两台master 和 三台 worker
prd 环境
部署在 五台 32C / 64 G 的服务器,分开部署了两台master 和 三台worker
每天调度大概近1000+任务,主要用到的组件 【shell】、【sub_process】、【depend节点】,
目前使用稳定。
我们目前实现一套脚本,多环境调度。仅需细小参数更改,即可用于测试开发生产分别使用,
以及数据生命周期的管理。
2 DolphinScheduler 使用规范
DolphinScheduler 项目开发使用规范
租户管理:
目前多套环境都只创建了一个租户,所有服务器一个队列,开发人员无需过多选择,直接使用即可。
用户管理:
所有开发和测试的同学都由管理人员创建账户,用于统一管理。
告警组管理:
开发人员都被添加到告警组中,排班对任务报错进行排查处理
项目管理:
目前我们这采用不同迭代的方式和项目迭代项目保持一致,整体项目数据库,由dba进行定期备份。
DolphinScheduler 人员权限管理规范
开发同学:
开发的同学会授予自己负责的项目,只负责开发环境和测试的工作流配置,不接触uat和prd
测试同学:
测试的同学只授权test项目,用于测试工作流的相应报表,其他项目不予开放权限。
DolphinScheduler 上线流程使用规范
上线流程:
按照流程,负责维护的ds运维同学,对项目版本跟随git代码版本进行备份和新上线
3 DolphinScheduler 工作流维护
DolphinScheduler 工作流分类
主题分类:
ods 层 辖区主题,它们主要在一个相应的表,进行分类
DolphinScheduler 工作流节点配置
配置规范:
节点名称必须和脚本所调度文件名称保证一致
必须配置失败重试次数和间隔时间,默认3次,5分钟
描述信息开发环境必须描述清晰
脚本下线只采用禁止执行,不进行删除操作
全量表必须设置生命周期时间
配置规范:
开发同学在更改自己负责的工作流是需要添加具体描述。
DolphinScheduler 工作流节点扩展
离线sqoop 任务:
hive 任务:
全局参数:
4 DolphinScheduler 调度依赖的划分
DolphinScheduler 调度划分
项目调度:
DolphinScheduler 周期调度
周期任务:
DolphinScheduler 任务容错
任务失败容错机制:
5 DolphinScheduler 运维维护
DolphinScheduler 服务报警
对所在主机和服务进行监控:
DolphinScheduler 工作流质量监控
相关监控:
下面视频是分享演讲: