海豚调度 - 博客园

2020年3月

摘要：数据中台是当今大数据领域最火的一个概念，各个公司也竞相建设企业自己的大数据中台，而在这样的背景下，数据任务调度作为其中最核心的一个基础设施可谓十分重要。一个好的调度系统既可以负载传统数据仓库的任务处理流程，又可以承载实时流处理，甚至一些数据挖掘流程处理都可... 阅读全文

posted @ 2020-03-12 15:23 海豚调度阅读(38) 评论(0) 推荐(0) 编辑

摘要：本文章经授权转载 Table of Contents 任务总体存储 Shell节点 SQL节点存储过程节点 SPARK节点 MapReduce(MR)节点 Python节点 Flink节点 ... 阅读全文

posted @ 2020-03-10 10:21 海豚调度阅读(346) 评论(0) 推荐(0) 编辑

摘要：本文章经授权转载 1 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。官网： https://dolphinsc... 阅读全文

posted @ 2020-03-01 10:26 海豚调度阅读(314) 评论(0) 推荐(0) 编辑

摘要：本文章经授权转载 Apache Kylin 上游通常有复杂的数据 ETL 过程，如 Hive 入库、数据清洗等；下游有报表刷新，邮件分发等。集成 Apache DolphinScheduler 后，Kylin 可以方便地将大数据平台各组件串联起来，让各个任... 阅读全文

posted @ 2020-03-01 10:26 海豚调度阅读(201) 评论(0) 推荐(0) 编辑

2020年2月

摘要：本文章经授权转载 1 组件介绍 Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。官网 https://dolphinsch... 阅读全文

posted @ 2020-02-28 18:11 海豚调度阅读(486) 评论(0) 推荐(0) 编辑

摘要： Apache DolphinScheduler 于2020年2月24日正式发布 1.2.1 版，发布内容如下：新特性： [#1497] 通过 API 创建的工作流在前端展示时自动调整布局。 [#747] Worker server 运行日志脱敏。... 阅读全文

posted @ 2020-02-25 09:01 海豚调度阅读(74) 评论(0) 推荐(0) 编辑

摘要： Apache DolphinScheduler(Incubating)社区在节后上周第一周就迎来了好消息，经过 Apache DolphinScheduler PPMC 们的推荐和投票，我们高兴的宣布：Apache DolphinScheduler 迎来了... 阅读全文

posted @ 2020-02-18 08:32 海豚调度阅读(37) 评论(0) 推荐(0) 编辑