随笔分类 -  dolphinscheduler

大数据工作流调度引擎
摘要://Curator是zk的一个客户端框架,其中分装了分布式公平可重入互斥锁,最为常见是InterProcessMutex 先简单总结下MasterServier服务的启动流程: 初始化netty服务器,并启动 通过zookeeper客户端Curator创建一个znode临时节点 /dolphinsc 阅读全文
posted @ 2020-10-01 20:10 彬在俊 阅读(2249) 评论(0) 推荐(0) 编辑
摘要:今天继续分析海豚调度的源码 上回分析的是dolphinscheduler-service模块zookeeper相关的代码 这回分析是dolphinscheduler-server模块zookeeper相关的代码 ZkMasterClient master服务zk客户端类 类继承的关系如下: 这个类的 阅读全文
posted @ 2020-09-27 14:45 彬在俊 阅读(1344) 评论(0) 推荐(0) 编辑
摘要:项目结构 模块 dolphinscheduler-ui 前端页面模块 dolphinscheduler-server 核心模块。包括master/worker等功能 dolphinscheduler-common 公共模块。公共方法或类 dolphinscheduler-api Restful接口。 阅读全文
posted @ 2020-09-25 16:56 彬在俊 阅读(2104) 评论(1) 推荐(0) 编辑
摘要:系统架构设计 在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后继节点为止。举例如下图: dag示例 流程定义:通 阅读全文
posted @ 2020-09-25 10:06 彬在俊 阅读(6908) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示