2023年7月5日
数据采集分析
摘要： # 数据采集分析 ## 1.名词定义 - 采集请求CollectRequest:将数据采集封装为采集请求的数据结构 - 监控项选择器MetricSelector：用来基于不同的资源类型查询出来可以支持的监控项列表 - 采集调度器Scheduler: 将采集请求分发给不同的实例节点上，实现类可以kaf 阅读全文
posted @ 2023-07-05 16:31 SpecialSpeculator 阅读(61) 评论(0) 推荐(0) 编辑
Logback和grpc实现日志访问
摘要： # 日志方案 - ui和worker不一定再同一个机器上，看日志不能像看本地文件一样 - 日志放到es搜索引擎上 - 通过grpc通信获取远程日志信息 - 海豚调度的轻量级，选择了grpc实现远程访问日志的方案 ## 方案说明 ![image](https://img2023.cnblogs.com 阅读全文
posted @ 2023-07-05 14:37 SpecialSpeculator 阅读(87) 评论(0) 推荐(0) 编辑
容错设计
摘要： # 容错设计 ## 服务器戎机容错 ### master容错 依赖于zk的watcher机制，实现原理 ![image](https://img2023.cnblogs.com/blog/680792/202307/680792-20230705140600650-1287199714.png) 其 阅读全文
posted @ 2023-07-05 14:25 SpecialSpeculator 阅读(27) 评论(0) 推荐(0) 编辑
分布式锁
摘要： # zk分布式锁 海豚调度通过zk来做分布式锁，保证同一个时刻只有一台Master的scheduler来执行 或者只有一台worker执行任务的提交 ## 1.zk分布式锁核心流程算法 ![image](https://img2023.cnblogs.com/blog/680792/202307/6 阅读全文
posted @ 2023-07-05 14:00 SpecialSpeculator 阅读(7) 评论(0) 推荐(0) 编辑
系统架构
摘要： # 1.架构图 ![image](https://img2023.cnblogs.com/blog/680792/202307/680792-20230705105913812-309789844.png) # 2.系统架构图 ![image](https://img2023.cnblogs.com 阅读全文
posted @ 2023-07-05 11:17 SpecialSpeculator 阅读(100) 评论(0) 推荐(0) 编辑
名词定义
摘要： # 名词定义 - 流程定义（ProcessDefine)：通过拖拽任务节点并建立任务节点的关联所形成的可视化DAG - 流程实例（ProcessInstance）：流程实例是流程定义的实例化，可以通过手工调度或定时调度来生成，流程定义每运行一次，生成一个流程实例 - 任务实例 （TaskInstan 阅读全文
posted @ 2023-07-05 10:58 SpecialSpeculator 阅读(33) 评论(0) 推荐(0) 编辑
DAG
摘要： # 概念 DAG：Directed Acyclic Graph 有向无环图 一个工作流实例里包含n个任务（task），这些task是以有向无环图的形式组织起来，从入口0的索引的地方进行遍历，直到无后续节点为止 ![image](https://img2023.cnblogs.com/blog/680 阅读全文
posted @ 2023-07-05 10:44 SpecialSpeculator 阅读(36) 评论(0) 推荐(0) 编辑