​看到社区代码不规范,强迫症的我顺手就给格式化了!

点击上方 4f9d49ae080f7ddf930df74e894631dd.png蓝字关注我们

b8dca174cc2631c72a5242610e460607.png

编者按:2021 年,Apache DolphinScheduler 社区又迎来了新的蓬勃发展,社区活跃度持续提高。目前,项目 GitHub Star 已达 6.7k,贡献者达 270+,fork 数 2.5k+。

为了让更多活跃参与者的贡献被看到,社区特推出《社区星力量》专栏,分享他们挥洒汗水所得的开源成果,以及在参与开源过程中发生的小趣事。

投稿请发邮箱:xiyan@whaleops.com 加微信(Leonard-ds)。

近期,我们的社区又迎来了不少贡献的小伙伴,今天故事的主人公是大数据工程师小红(化名)。

个人介绍

我在大数据领域工作已经 5 年,现在主要负责公司的数据开发平台研发工作。工作之余,我还喜欢跑步和健身。

第一次提交 PR

第一次接触 Apache DolphinScheduler 社区,我的印象是这是一个活跃度很高,气氛很友好的社区,抱着提高度调度系统认知的初衷,我想要参与到社区贡献中。

而我第一次提交 PR,是关于一个代码规范的提议。在 Apache DolphinScheduler 的 common 模块中,我发现有大量的旧代码(2019年左右)并未遵循 checkstyle 格式,有一些字符缩进、tab 字符、方法前空格等问题的存在。于是我格式化了 common 模块的历史代码,这样就可以让大家更清晰地了解代码目录。

PR 地址:https://github.com/apache/dolphinscheduler/issues/5785

虽然这个微小的改动对于业务来说并没有什么太大的意义,但开启了我和社区的“缘分”,激发了我为社区做贡献的热情。希望未来在这里,我能够结识更多志同道合的朋友,争取成为 Commiter,反哺社区。

对调度系统的期待

我所在的公司目前使用公司自研的调度系统,但是在使用过程中遇到了很多痛点问题,其实对调度系统提出了很多要求,比如:

1. 多任务场景的作业分配、调度策略;

2. 容灾能力,节点稳定性,Master 节点宕机,可以做到无缝 failover 的主备切换;

3. 作业的稳定性:

    3.1 不会因为服务发布而导致作业/任务出现失败的情况;

    3.2 服务恢复时,可以拉起中断的作业,能够较快的恢复到之前的状态。

4. 作业 DAG 状态一致性问题,作业状态和任务状态保持一致;

5. 监控、告警机制,作业、服务、节点宕机时,需要一个通知机制。

除了这些对于调度系统的需求之外,公司对于调度系统还有一些其他关键需求,包括:

1. 数据血缘能力;

2. plugin 的多样性,以及可插拔的能力;

3. 支持 k8s 部署;

4. UI DAG 的美观性。

经过我的调研对比分析,我认为 Apache DolphinScheduler 在这些方面其实已经做的较为完善,但不可忽视的是,因为 Apache DolphinScheduler 高度依赖ZK,大量了使用了监听器+分布式锁,对网络的稳定性要求较高,网络波动情况下容易影响任务进行。好消息是,Apache DolphinScheduler 2.0 版本改进之后将会去 ZK,弱化对 ZK 的依赖。这点是我们十分期待的。

希望在未来的社区参与中,我能够加深对 ApacheDolphinScheduler 的架构、  设计理念了解,社区也能在更多能人的加入下越来越壮大,共同努力让中国开源在世界舞台上发出更响亮的声音!

参与贡献

随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。

f6beb6a2a96e9bcb8346520ebeb3413d.png

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

5d85115b70aa37126c351353ef9b7702.png

贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。

参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手

微信(Leonard-ds) 手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。添加小助手微信时请说明想参与贡献。

来吧,开源社区非常期待您的参与。

社区官网

https://dolphinscheduler.apache.org/

代码仓地址https://github.com/apache/dolphinscheduler

您的 Star,是 Apache DolphinScheduler 为爱发电的动力❤️ 

投稿请添加社区小助手微信

(Leonard-ds)

62a99fa15937bc5b3d29e62bffe42bef.png

7f86e6aa100cfcfae1ab9d8282cc10a1.png

aa329fbec724338c46a456e2804c0164.gif


☞荔枝机器学习平台与大数据调度系统“双剑合璧”,打造未来数据处理新模式!

最佳实践|联通数科基于 DolphinScheduler 的二次开发

DolphinScheduler 荣获 2021 中国开源云联盟优秀开源项目奖!

议题征集令 | Apache DolphinScheduler Meetup 2021 来啦,议题征集正式开启!

☞重构、插件化、性能提升 20 倍,Apache DolphinScheduler 2.0 alpha 发布亮点太多!

☞巨变!a16z 关于新一代数据基础设施架构的深度洞察

手把手教你 Apache DolphinScheduler 本地开发环境搭建 | 中英文视频教程

☞Apache DolphinScheduler使用规范与使用技巧分享

点击阅读原文,加入开源!

dac50c06e674004af958329770c44452.png

点个在看你最好看

posted @ 2021-12-06 19:01  海豚调度  阅读(75)  评论(0编辑  收藏  举报