海豚调度 - 博客园

2025年3月

摘要：各位热爱DolphinScheduler的小伙伴们，今年2月份的社区月报如期而至，更新了DolphinScheduler项目和社区在本月的重大进展，请查收！ DolphinScheduler月度Merge Stars 感谢以下小伙伴在2025年2月期间为Apache DolphinScheduler 阅读全文

posted @ 2025-03-10 15:44 海豚调度阅读(63) 评论(0) 推荐(0)

工作流调度必看！2025年这四大核心趋势你不能不懂

摘要：在数字化时代，数据如同流淌在企业血管中的血液，源源不断地为业务决策输送养分。而大数据工作流调度系统，就像是一位精准的指挥家，协调着数据处理流程中的各个环节，确保数据的高效流动与价值释放。那么，究竟什么是大数据工作流调度系统？它在当前的技术版图中处于何种地位？又将朝着怎样的未来趋势演进？让我们一探究竟阅读全文

posted @ 2025-03-04 18:03 海豚调度阅读(639) 评论(0) 推荐(0)

数据没“就绪”，马斯克和AI大模型照样犯错

摘要：不久前，埃隆·马斯克在推动美国政府效率部改革期间，对社保系统进行审查时揭露了重大异常，发现社保记录中存在年龄高达360岁的受益人，而且社保领取人数达3.98亿，远超美国实际人口（约3.3亿）。这一“乌龙”引发公众对社保资金滥用及政府监管失效的质疑。然而，美国社会保障局（SSA）对马斯克披露的异常数据阅读全文

posted @ 2025-03-04 15:42 海豚调度阅读(100) 评论(0) 推荐(0)

Worker模块源码实战：万字长文解析DolphinScheduler如何实现亿级任务调度

摘要： Apache DolphinScheduler的Worker模块是其分布式调度系统的核心组件之一，负责任务执行、资源管理及集群动态调度。本文将通过源码剖析，揭示其设计思想与实现细节. 1、Worker接收Master RPC请求架构图 Worker服务的Netty提供和Master JDK动态代理接阅读全文

posted @ 2025-03-03 15:58 海豚调度阅读(410) 评论(0) 推荐(0)

2025年2月

不重视数据质量，企业要出大问题！

摘要：在数字化浪潮席卷全球的当下，数据已然成为企业的核心资产，宛如血液一般流淌于企业运营的每一个脉络之中。从市场趋势的精准洞察，到产品研发的创新方向把控；从营销策略的制定与优化，再到客户关系的精细化管理，企业的每一项关键决策都深深依赖数据的支撑。而数据质量，作为这一系列决策的基石，其重要性不言而喻。数据阅读全文

posted @ 2025-02-26 16:02 海豚调度阅读(116) 评论(0) 推荐(0)

看过来！Apache DolphinScheduler版本升级指南

摘要： Apache DolphinScheduler自2.0.1版本后增加了版本自动升级功能，官方文档提供了一键升级脚本： sh ./script/create-dolphinscheduler.sh 如果只是跨小版本的更新，那么只用执行脚本就好了，但跨多个大版本升级时依然容易出现一些问题，特此总结。（阅读全文

posted @ 2025-02-25 10:23 海豚调度阅读(740) 评论(0) 推荐(0)

当任务失败时，顶级调度系统如何实现分钟级数据补偿？

摘要：一、补数机制的定义与挑战补数（Backfill）指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时，重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中，补数机制需解决三大核心挑战：复杂依赖链重建：需精准识别历史时间段内任务上下游关系，避免因时间窗口错位导致数据逻辑混乱阅读全文

posted @ 2025-02-21 17:19 海豚调度阅读(282) 评论(0) 推荐(0)

DolphinScheduler环境搭建、服务启动等常见问题及解决方案

摘要： Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统，广泛应用于大数据任务编排。然而，在实际使用中，用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验，整理以下高频问题及详细解决方案，帮助用户快速定位并解决问题。一、安装与部署问题环阅读全文

posted @ 2025-02-18 14:28 海豚调度阅读(1235) 评论(1) 推荐(0)

2025开源数据工程全景图

摘要：作者 | Alireza Sadeghi 译自Practical Data Engineering 2025年开源数据工程领域呈现蓬勃创新与生态重构的双重态势，九大技术赛道在实时化、轻量化与云原生架构驱动下加速演进。一份来自外网的2025年开源数据工程全景图全面地展示了这一领域的发展态势与走向，现翻阅读全文

posted @ 2025-02-17 15:11 海豚调度阅读(553) 评论(0) 推荐(0)

DS缩写乱争：当小海豚撞上AI顶流，技术圈也逃不过“撞名”修罗场

摘要： DS缩写风云：从“小海豚”到“深度求索”的魔幻现实曾几何时，技术圈提到DS，人们脑海中浮现的是一只灵动的“小海豚”——Apache DolphinScheduler（简称DS）。这个2019年诞生的分布式任务调度系统，凭借可视化DAG界面、多租户支持和对Hadoop/Spark生态的深度集成，一度阅读全文

posted @ 2025-02-17 14:48 海豚调度阅读(197) 评论(0) 推荐(0)

公告