随笔分类 - dolphinscheduler
大数据工作流调度引擎
摘要://Curator是zk的一个客户端框架,其中分装了分布式公平可重入互斥锁,最为常见是InterProcessMutex 先简单总结下MasterServier服务的启动流程: 初始化netty服务器,并启动 通过zookeeper客户端Curator创建一个znode临时节点 /dolphinsc
阅读全文
摘要:今天继续分析海豚调度的源码 上回分析的是dolphinscheduler-service模块zookeeper相关的代码 这回分析是dolphinscheduler-server模块zookeeper相关的代码 ZkMasterClient master服务zk客户端类 类继承的关系如下: 这个类的
阅读全文
摘要:项目结构 模块 dolphinscheduler-ui 前端页面模块 dolphinscheduler-server 核心模块。包括master/worker等功能 dolphinscheduler-common 公共模块。公共方法或类 dolphinscheduler-api Restful接口。
阅读全文
摘要:系统架构设计 在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后继节点为止。举例如下图: dag示例 流程定义:通
阅读全文