06 2022 档案

摘要:作者 | 胡泽康 鄞乐炜 作者简介 胡泽康 联通(广东)产业互联网公司 大数据工程师,专注于开源大数据领域,从事大数据平台研发工作 鄞乐炜 联通(广东)产业互联网公司 大数据工程师,主要从事大数据平台的应用与引擎端开发 01 背景介绍 我们是联通医疗团队,一直践行 “服务医改,惠及民生” 的使命,全 阅读全文
posted @ 2022-06-30 15:48 海豚调度 阅读(538) 评论(0) 推荐(0) 编辑
摘要:Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能,导致用户上手难体验差。在技术层面,架构过时,持续迭代难度大。基于这些情况,经过竞品对比和调研后,Fordeal数据平台新 阅读全文
posted @ 2022-06-20 12:06 海豚调度 阅读(517) 评论(0) 推荐(0) 编辑
摘要:当大数据挖掘成为企业赖以生存、发展乃至转型的生命,如何找到一款好软件帮助企业满足需求,成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域,光是一款好软件似乎都不足以满足所有场景业务需求,许多企业逐渐将目光转向了技术生态的“外延”——即结合各种场景打造企业适用的技术架构。 那该如何才能打造 阅读全文
posted @ 2022-06-17 14:25 海豚调度 阅读(55) 评论(0) 推荐(0) 编辑
摘要:本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K。目前,Apache DolphinScheduler 社区已经拥有 Contributor 345+,fork 数 3k+,社区发展呈现出一片欣欣向荣。 既 Apache 阅读全文
posted @ 2022-06-16 17:05 海豚调度 阅读(90) 评论(0) 推荐(0) 编辑
摘要:大家下午好,我是来自当贝网络科技大数据平台的基础开发工程师 王昱翔,感谢社区的邀请来参与这次分享,关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。 本次演讲主要包含四个部分: 平台建设的背景 大数据平台重构 大数据调度平台建设 下一步规划 王昱翔 当贝大数据平 阅读全文
posted @ 2022-06-15 17:32 海豚调度 阅读(382) 评论(0) 推荐(0) 编辑
摘要:导读:近日,Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复,并引入了部分的功能,如支持 FlinkSQL 任务类型,新增 Zeppelin 任务类型,新增 Kubernetes nam 阅读全文
posted @ 2022-06-15 15:54 海豚调度 阅读(265) 评论(0) 推荐(0) 编辑
摘要:在软件开发领域有一个流行的原则:Don’t Repeat Yourself(DRY),翻译过来就是:不要重复造轮子。而开源项目最基本的目的,其实就是为了不让大家重复造轮子。 尤其是在大数据这样一个高速发展的领域,现在各类企业都有使用大量的开源软件,当发现开源项目不能满足场景业务需求的时候,越来越多的 阅读全文
posted @ 2022-06-06 14:10 海豚调度 阅读(110) 评论(0) 推荐(0) 编辑