金灿灿的季节 - Apache DolphinScheduler收获5位新Committer
在这个金灿灿的收获季节,经过 Apache DolphinScheduler PPMC 们的推荐和投票,Apache DolphinScheduler 收获了 5 位新Committer 。他们是:nauu(朱凯)、Rubik-W(温合民)、gabrywu、liwenhe1993、clay4444。对于成为 Committer ,小伙伴们说道:
朱凯:
非常荣幸能够成为DolphinSchedule 的 Committer。这既是一份喜悦,也是一份责任。我将以终为始,继续打怪升级,助力 DS 早日毕业。
温合民:
很荣幸成为DS Committer团队的一员。通过技术调研了解到DS,最终选型决定引入DS,高效的社区支持使项目最终顺利落地。DS是我参与开源的第一个项目,深受益于开源,同时也想为开源做一些力所能及的贡献,希望未来能更多的为DS添砖加瓦,愿DS顺利毕业。
社区介绍:
Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已近100名, 他们分别来自 30 多家不同的公司。 微信群用户3000人。
Apache DolphinScheduler 部分用户案例(排名不分先后)
已经有300多家企业和科研机构在使用DolphinScheduler,来处理各类调度和定时任务,另有近500家公司开通了海豚调度的试用:
Apache DolphinScheduler 是什么
Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
Apache DolphinScheduler项目起源 - 需求决定
Apache DolphinScheduler四大特性
Apache DolphinScheduler 能力:
-
以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
-
支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、Python、Http、Sub_Process、Procedure等
-
支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
-
支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
-
支持工作流全局参数及节点自定义参数设置
-
支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
-
支持任务日志在线查看及滚动、在线下载日志等
-
实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
-
支持对
Master/Worker
cpu load,memory,cpu在线查看 -
支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
-
支持补数
-
支持多租户
-
支持国际化
Apache DolphinScheduler 1.3.0 新特性
-
Worker实现重构,提升Worker性能
-
Master和Worker引入Netty通信
-
去zookeeper任务队列
-
Worker节点的三种选择:随机、循环和CPU和内存的线性加权负载平衡
-
Worker去数据库操作
-
-
资源中心支持多目录
-
添加 if/else 条件任务
-
添加 sqoop/datax 任务
-
支持 windows 开发和部署
-
支持 k8s 部署
-
添加DAG流程图一键格式化
-
流程图美化
-
支持 ambari 插件安装
-
批量导出和导入工作流
-
流程定义支持复制
-
添加钉钉告警
-
大幅简化配置项,简化部署
Apache DolphinScheduler Roadmap
总体依照社区需求和关注度来安排功能优先
-
master 重构:建立 api 和 master 通信等
-
任务参数传递
-
任务类型插件化Plugin
-
工作流触发
-
数据质量
-
工作流血缘关系
-
列表依赖(上游依赖)
-
告警服务化
-
权限改造
-
支持多集群上线发布
-
工作流版本管理
-
Easy to use
系统部分截图
在线DEMO试用
http://106.75.43.194:8888/
DolphinScheduler Slogan
加入 Apache DolphinScheduler
在使用 DolphinScheduler 的过程中,如果您有任何问题或者想法、建议,都可以通过Apache 邮件列表参与到 DolphinScheduler 的社区建设中来。
欢迎加入贡献的队伍,加入开源社区从提交第一个 PR开始,
- 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等),先通过第一个PR熟悉提交流程,如果有任何疑问,欢迎联系
强烈推荐订阅开发邮件列表,与社区保持最新信息同步,这一点非常重要。
近期好文推荐:《美女 Committer 手把手教你使用海豚调度》
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· C++代码改造为UTF-8编码问题的总结
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· 【.NET】调用本地 Deepseek 模型
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)