我与Apache DolphinScheduler社区的故事
我与DolphinScheduler社区的故事
Apache DolphinScheduler 是一个开源的分布式去中心化、易扩展的可视化DAG大数据调度系统。 于2017年在易观数科立项,2019年3月开源,于2019年8月29日通过Apache基金会投票正式成为Apache孵化器项目。社区发展非常迅速,目前已有 400+ 公司在生产上使用,代码+文档贡献者近200位,社区用户4000 +人。
主人翁简介
姓名:黄立
长安汽车-云平台开发部-大数据工程师,负责车联网数据基础平台建设工作,DolphinScheduler Committer,目前专注于物联网数据存储和计算领域。我参与到 DS社区应该刚好一年,是非常典型的从开源用户到了解社区最后参与社区的路线。
初识EasyScheduler(DolphinScheduler的前身):四天上生产
时间回退到2019年8月,公司成为了Cloudera的客户,准备基于EDH构建车联网数据平台。
在大数据任务调度系统选型的时候,初步定了3个组件:Zeus,Azkaban,Airflow。从系统是否开源,二开难度和易用性上最终选型了Azkaban。接下来就是开始对Azkaban测试,Azkaban使用command的方式来描述任务关系,描述方式比较麻烦,不够直观。于是我开始继续寻找大数据批处理调度系统,发现了这个新闻:
分布式工作流任务调度系统Easy Scheduler正式开源
嗯?可视化拖拉拽?支持shell?HA?易观投产两年?java系?
我:琦鹏(EDH实施的小哥),要不咱们整下这个easyscheduler?
琦鹏:哥, 咱这个还一周要上线啊,你现在测?
我:我看网上写得挺不错的,搞搞看?部署应该不复杂的,不行还有Azkaban嘛
琦鹏:。。。。。。。。。
于是我花了4天的时间将easyscheduler从测试环境部署到预生产的POC全部做完,向领导汇报后,得到的反馈是,可以投产。现在,5个节点的ds系统承接了车联网数据平台的所有批处理任务,已经稳定运行了一年四个月。
接触社区:2019年12月8日 DolphinScheduler MeetUp
2019年9月17日,ds进入apache孵化器,开始了第一个apache版本的发版工作。我也开始了这个分支的升级测试工作,因为当时1.2.0支持了一个非常重要的功能:跨项目依赖。由于对ds的了解程度不高,开发环境升级之后,之前做好的定时的任务一直无法调起来,我决定在12月8日到北京去参加Apache DolphinScheduler的MeetUp,目的是找到ds的开发者帮我解决系统升级的问题。这里要感谢一下我的领导,支持我到北京出差参加社区活动。这是当时meetup的照片,也是我第一次参加线下的meetup,有一种程序员开大会的感觉。最后一个topic,各位大佬进行了如何加入Apache社区并成为Committer的圆桌讨论。我了解到了Apache项目的运作方式,有哪些角色,参与到开源项目中的方式。
重点是,会后我拿出电脑让ds的开发者李岗帮我查组件升级的问题,最后发现是包名的升级兼容性问题,现在想起来都觉得很神奇,从重庆到北京,就处理了一个ds的升级问题。
回到重庆之后,我决定开始参与到ds社区中。于是整理对ds的改造点,提了第一个pr,是关于Spark组件支持多版本的功能。PR的日期是2019年12月17日。参加12月8日meetup的决定,让我真正开始动起手来,参与开源。划重点:参加Meetup!!!
参与社区:从细节做起,不光是代码
参与开源项目,贡献社区不单是只有提交代码这一种方式。任何形式参与社区:贡献文档,提交翻译,参与讨论,在邮件列表或issue中回答社区用户的提问,都会被社区记录和认可。期间我发现有部分用户,在参与开源项目的时候,喜欢一来就整个“大Feature”。关于一个Feature,其设计和实现并未经过社区讨论,一个pr就更改了100多个文件,提交上万行代码,这样的pr其review压力巨大,很难得到社区认可。
在开源贡献的层面来说,所做的工作给社区带来微小而美好的改变就是值得的。个人而言,我参与社区的方式比较综合:
- 贡献代码
在issue列表中,寻找自己感兴趣的issue,做力所能及的bug fix和实现feature。
-
报告bug,参与讨论
-
贡献文档
提到文档贡献就非常有意思了,在2020年初的时候,DolphinScheduler社区建立了海豚调度的公众号,我贡献给社区的第一篇文档是如何在 CDH5.16.2 中部署 Apache Dolphin Scheduler 1.2.0。后续得到的反馈是有不少用户根据这篇文档,成功部署DS,开始成为小海豚的用户,我感到非常非常高兴。**所以,参与社区,真的不一定需要写代码。**之后,我又陆续向社区贡献文档,涉及版本升级指南,部署参数分析和故障处理。
社区收获
参与社区是要花费一定的休息时间和精力的,在参与社区这件事上,付出和收获一定是成正比的。
引入重要的Bug Fix
最最最重要的是,通过社区用户的实践,我们可以提前发现一些重要的bug,比如在1.3.4中修复的任务卡死问题,如果对社区熟悉就可以在内部的代码中cherry-pick对应的pr,不用等到社区发版,保证生产系统的稳定性。
内部开发保持与社区一致
引用Hbase社区张铎老师的PPT,参与开源,将内部的feature回馈给社区,参与社区开发,可以保证自研代码和社区代码的步调一致,享受到社区最新的功能
写在最后
我一直觉得,做任何事情,学习任何一项技能,都要经历一个:不会到会,会到会用,用到用好,用好到用成自己的,四个阶段。目前,我们正处于将ds用好的一个阶段。个人也会继续参与到开源中,在社区中贡献,收获。