09 2024 档案

深入工作流调度的内核
摘要：在大数据时代，工作流任务调度系统成为了数据处理和业务流程管理的核心组件，在大数据平台的构建和开发过程中尤为重要。随着数据量的激增和业务需求的多样化，合理的任务调度不仅能够提高资源利用率，还能保证业务流程的稳定和高效运行。本文将结合实际场景，探讨目前市面上常见的工作流任务调度及其关键特性。 一、工作流 阅读全文
posted @ 2024-09-27 10:38 海豚调度 阅读(102) 评论(0) 推荐(0) 编辑
Apache DolphinScheduler-1.3.9源码分析（一）
摘要：引言 随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。 在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，介绍 阅读全文
posted @ 2024-09-26 13:42 海豚调度 阅读(92) 评论(0) 推荐(0) 编辑
轻松编排工作流，浅谈DolphinScheduler如何使用Python调用API接口？
摘要：最近，在做某大型零售企业项目时，有客户用到DolphinScheduler，并咨询是否可以用Python脚本编排工作流？该如何实现？相信有很多人会有这样的疑问，那么，本文将为我们简单分享DolphinScheduler的优势和实际使用。 为什么企业数据开发要使用海豚调度？ 当企业在做数据开发时，任务 阅读全文
posted @ 2024-09-25 14:22 海豚调度 阅读(257) 评论(0) 推荐(0) 编辑
中电信翼康基于Apache Dolphinscheduler重构“星海·济世医疗数据中台”实践经验分享
摘要：文章作者：尚志忠 编辑整理：曾辉 行业背景 随着大数据、云计算、5G、人工智能等技术的快速发展，以及医疗信息化建设的不断深入，数据中台作为打通医疗数据融合壁垒、实现数据互通与共享、构建高效数据应用的关键信息平台，正逐渐成为推动医疗行业数字化转型和创新发展的重要力量。 星海·济世医疗数据中台介绍 中国 阅读全文
posted @ 2024-09-20 13:30 海豚调度 阅读(76) 评论(0) 推荐(0) 编辑
怎么办？用DolphinScheduler调度执行复杂的HiveSQL时无法正确识别符号
摘要：在使用Apache DolphinScheduler调度执行复杂的HiveSQL时，HQL包含多种海豚无法正确识别的符号，怎么办？本文提供了可行的思路和方法，供用户参考。 一、目的 在Hive中完成复杂JSON，既有对象还有数组而且数组中包含数组的解析后，原本以为没啥问题了，结果在DolphinSc 阅读全文
posted @ 2024-09-19 11:19 海豚调度 阅读(56) 评论(0) 推荐(0) 编辑
单机快速部署开源、免费的分布式任务调度系统——Apache DolphinScheduler
摘要：本文主要为大家介绍Apache DolphinScheduler的单机部署方式，方便大家快速体验。 环境准备 需要Java环境，这是一个老生常谈的问题，关于Java环境的安装与配置期望大家都可以熟练掌握。 验证java环境 java -version 下载安装包并解压 使用wget下载安装包 wge 阅读全文
posted @ 2024-09-14 14:04 海豚调度 阅读(142) 评论(0) 推荐(0) 编辑
万字长文 | Apache开源社区出海的“踩坑”之路，看完这3点你就明白了
摘要：引言 作为一名软件行业的从业者，我已经在开源社区Remote工作了两年时间。“技术运营” 是一个相对小众的职业，所以如果你在这个行业工作，却找不到自己热情所在或擅长的事情，可能会感觉缺乏价值感（这一点我老板也很认同）。 然而，如果你愿意为自己的情怀买单，并全心投入其中，这确实是一件伟大的事情。 我并 阅读全文
posted @ 2024-09-11 16:56 海豚调度 阅读(58) 评论(0) 推荐(0) 编辑
如何在Windows上搭建并运行DolphinScheduler前后端开发环境
摘要：作者：海豚调度研究随笔 编辑整理：曾辉 前言 Apache DolphinScheduler 是一个优秀的分布式调度系统，广泛应用于大数据处理和自动化任务管理中。本文详细介绍了如何在Windows环境下搭建Apache DolphinScheduler的前后端开发环境。 包括从源码的下载、环境配置、 阅读全文
posted @ 2024-09-11 11:13 海豚调度 阅读(286) 评论(0) 推荐(0) 编辑
海豚调度清理：使用 API 轻松清理工作流历史版本记录，一键减少关系日志和任务定义日志表的数据量
摘要：💡 本系列文章是 DolphinScheduler 由浅入深的教程，涵盖搭建、二开迭代、核心原理解读、运维和管理等一系列内容。适用于想对 DolphinScheduler了解或想要加深理解的读者。 推荐阅读： 海豚调度监控：使用图关系解决核心链路告警问题，减轻任务运维负担，用户五星好评！ 海豚调度 阅读全文
posted @ 2024-09-08 00:12 海豚调度 阅读(106) 评论(0) 推荐(0) 编辑
Apache DolphinScheduler在Cisco Webex的应用与优化实践
摘要：引言 我叫李庆旺，是Cisco Webex的一名软件工程师，同时也是Apache DolphinScheduler（以下简称DS）的Committer。 在过去的两年里，公司基于Apache DolphinScheduler进行了多项持续改进和创新，以更好地适应我们的业务需求。本文将介绍这些改进的具 阅读全文
posted @ 2024-09-05 10:53 海豚调度 阅读(34) 评论(0) 推荐(0) 编辑
Apache DolphinScheduler在Cisco Webex的应用与优化实践
摘要：引言 我叫李庆旺，是Cisco Webex的一名软件工程师，同时也是Apache DolphinScheduler（以下简称DS）的Committer。 在过去的两年里，公司基于Apache DolphinScheduler进行了多项持续改进和创新，以更好地适应我们的业务需求。本文将介绍这些改进的具 阅读全文
posted @ 2024-09-04 14:43 海豚调度 阅读(36) 评论(0) 推荐(0) 编辑
我们总该选择滚烫的人生 | Apache DolphinScheduler社区讲师招募中
摘要：亲爱的社区小伙伴们，Apache DolphinScheduler 线上 Meetup 讲师&议题火热征集中！ 如果你热爱开源，对大数据调度有着深厚的兴趣，并且愿意将你的知识和经验分享给更多人，那么这就是你的舞台！这是一个锻炼自己的机会，让你不仅能够展示自己的技术能力，还能在开源社区中广交朋友。💡 阅读全文
posted @ 2024-09-04 12:08 海豚调度 阅读(14) 评论(0) 推荐(0) 编辑
Apache DolphinScheduler项目与社区7-8月发展报告
摘要：各位热爱 Apache DolphinScheduler 的小伙伴们，社区7-8月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！ Merge Stars 感谢以下小伙伴上两个月为 Apache DolphinScheduler 项目和社区发展所做 阅读全文
posted @ 2024-09-03 16:43 海豚调度 阅读(35) 评论(0) 推荐(0) 编辑
Apache DolphinScheduler大规模任务调度系统对大数据实时Flink任务支持
摘要：转载自神龙大侠 我是用olphinScheduler 3.2.1版本做源代码编译部署（部署方式参考我的另外一篇文档《源代码编译，Apache DolphinScheduler前后端分离部署解决方案》） 二进制文件部署本文也适用，只需要修改相对应的配置即可。 资源管理底层基座替换成hdfs Flink 阅读全文
posted @ 2024-09-02 16:32 海豚调度 阅读(170) 评论(0) 推荐(0) 编辑