大数据_调度平台_DolphinScheduler_插件开发
dolphinscheduler -插件开发
微内核插件化的架构设计
关注扩展接口即可,底层相关逻辑如插件加载等内核已经实现
插件开发
官方插件
dolphinscheduler-spi 模块是 spi 通用代码库,定义了所有的插件模块,比如告警模块,注册中心模块
dolphinscheduler-datasource-api 模块提供了所有数据源对外访问的 API
dolphinscheduler-registry-api 定义了实现插件的标准
dolphinscheduler-task-api 模块提供了所有任务对外访问的 API
dolphinscheduler-alert-plugins 如 Email、DingTalk、Script等。
dolphinscheduler-registry-plugin 模块下是我们目前所提供的注册中心插件
任务插件-- 单独实现插件对应的前端页面
yarn 任务 org.apache.dolphinscheduler.plugin.task.api.AbstractYarnTask
非yarn任务 org.apache.dolphinscheduler.spi.task.TaskChannel
参考官方
基于YARN的计算(参见MapReduceTask)
非YARN的计算(参见ShellTask) SqlTask
数据源插件
org.apache.dolphinscheduler.spi.datasource.DataSourceChannel
org.apache.dolphinscheduler.spi.datasource.DataSourceChannelFactory
org.apache.dolphinscheduler.plugin.datasource.api.client.CommonDataSourceClient
告警插件
org.apache.dolphinscheduler.alert.api.AlertChannelFactory
注册中心插件
org.apache.dolphinscheduler.registry.api.RegistryFactory
具体案例
待补充
参考
https://dolphinscheduler.apache.org/zh-cn/development/backend/spi/task.html
分类:
大数据和AI以及云计算_架构
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· 【.NET】调用本地 Deepseek 模型
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)