活动回顾|Apache DolphinScheduler x Pulsar 在线 Meetup
关于 Apache DolphinScheduler:
“
Apache DolphinScheduler(Incubating) 是一个分布式去中心化、易扩展的可视化工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在大数据处理流程中开箱即用。DolphinScheduler 源于易观,目前已捐赠给 Apache 软件基金会,正在进行孵化中,预计明年初提请毕业。
???? 官网:https://dolphinscheduler.apache.org
”
关于 Apache Pulsar:
“
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。该系统源于 Yahoo,最初在 Yahoo 内部开发和部署,支持 Yahoo 应用服务平台 140 万个主题,日处理超过 1000 亿条消息。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时以及高可扩展流数据存储特性。
???? 官网:http://pulsar.apache.org
”
各位 DolphinScheduler 和 Pulsar 社区小伙伴们,在线 Meetup 活动回顾资料来啦!
DolphinScheduler 作为 Apache 软件基金会孵化项目,目前已有 120 多位贡献者;Pulsar 作为 Apache 软件基金会顶级项目,全球已有 300 多位贡献者。这两个项目在中国有大量的开发者和贡献者与用户,本次活动为大家提供了广阔交流空间。
本次活动成功聚集了 200+ 小伙伴,直播观看人次突破 1000+。本次活动顺利举办,特别感谢来自 DolphinScheduler、Pulsar 社区的分享嘉宾——翟佳、刘慧娟、陈航、鲍亮,他们为此做了充分准备。同时,也特别感谢社区合作伙伴——开源社、SegmentFault 、示说网的大力支持。
下面对本次活动做简单回顾,方便大家参考。
细节回顾
????️ Introduction to Apache Pulsar
翟佳,Apache Pulsar PMC 成员,StreamNative 联合创始人兼 CTO
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体。Pulsar 于 2016 年由 Yahoo 开源并捐赠给 Apache 软件基金会进行孵化,2018 年成为 Apache 软件基金会顶级项目。Pulsar 采用计算与存储分离的分层架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流数据存储特性。本次分享将介绍 Apache Pulsar 的功能特性,及社区参与、未来发展等内容。
左右滑动查看更多
PPT 查看/下载地址:
https://www.slidestalk.com/DolphinScheduler/Apache_Pulsar_Introduction_20200905
????️ DolphinScheduler 与工业互联网平台 xIn3Plat 牵手之路
刘慧娟,宝信工业互联网研究院, 大数据中心开发经理,负责工业互联网平台 xIn3Plat 之 5S 大数据套件分布式计算引擎和调度研发工作。
介绍如何将 DolphinScheduler 融入宝信软件 xIn3Plat 所做的功能增强和适应性改造,包括:DolphinScheduler 在多数据源集成、并行任务控制、审计告警、插件扩展性等方面的关键特性;以及我们后续的社区参与计划及未来功能规划,与社区一起推动 DolphinScheduler 的发展。
左右滑动查看更多
PPT 查看/下载地址:
https://www.slidestalk.com/DolphinScheduler/DolphinSchedulerxIn3Plat62248
????️ BIGO 在 Apache Pulsar 上的实践
陈航, BIGO 大数据平台消息系统负责人,Apache Pulsar & BookKeeper Contributor
主要介绍 BIGO 引入 Pulsar 的初衷、Pulsar 性能调优上的实践,以及 Flink 与 Pulsar 结合在 BIGO 实时数据处理上的应用。
左右滑动查看更多
PPT 查看/下载地址:
https://www.slidestalk.com/DolphinScheduler/ApachePulsarBIGO87668
????️ DolphinScheduler 功能深度解析
鲍亮,易观大数据平台专家、DolphinScheduler PPMC
重点分享 DolphinScheduler 关于无中心架构的容错设计,工作流及任务状态切换、任务组件的功能设计以及版本升级的兼容设计以及您可能从未注意到的高级功能等。
左右滑动查看更多
PPT 查看/下载地址:
https://www.slidestalk.com/DolphinScheduler/DolphinScheduler20200905
参与贡献
目前 DolphinScheduler 与 Pulsar 正在快速成长之中,欢迎对此感兴趣的加入到项目贡献中来,可访问官网查看参与指南。
DolphinScheduler 官网:
https://dolphinscheduler.apache.org
Apache Pulsar 官网:
http://pulsar.apache.org
他们正在使用DolphinScheduler(仅部分)
目前已经有400多家公司在使用DolphinScheduler,试用用户也已经超过1000个,用户群超过3000人。如果您正在进行大数据任务调度的选型,欢迎对比呐!
最后还是想呼唤已经在使用DolphinScheduler的伙伴能分享自己的实践经验呐,每一次分享都是经验的传承,既可以让其他小伙伴少走弯路,也是对社区的极大的支持,社区不仅需要用户、开发者,也需要 有意向分享的伙伴欢迎联系微信: 510570367
戳原文,立刻奔向
DolphinScheduler 的 github 仓库一起玩耍,不妨点 star 收藏吆~