12 2024 档案
摘要:仅展示部分案例,文末附完整版🔻 引言 数据驱动时代,高效的数据处理和分析能力已成为各行各业的核心竞争力。而高效的数据处理离不开强大的工作流调度系统。Apache DolphinScheduler 正是这样一款功能强大的分布式工作流调度平台,它以其灵活的架构、强大的功能和易于使用的界面,帮助企业和组
阅读全文
摘要:文|作业帮大数据团队(阮文俊、孙建业) 背 景 基于 Apache DolphinScheduler (以下简称DolphinScheduler)搭建的 UDA 任务调度平台有效支撑了公司的业务数据开发需求,处理着日均百万级别的任务量。 整个 UDA 的架构如下图所示,其中我们的引擎层主要基于 Do
阅读全文
摘要:视频及PPT等相关资料:点击查看 讲师介绍 陶超权,博世智驾(中国)后端工程师,负责数据处理和数据调度方面工作,在智能驾驶数据处理领域具有丰富的实践经验。在2024年12月Apache DolphinScheduler社区线上交流会上上,他分享了Apache DolphinScheduler在智能驾
阅读全文
摘要:背景 Apache DolphinScheduler 定时任务配置采用的 7 位 Crontab 表达式,分别对应秒、分、时、月天、月、周天、年。 在团队日常开发工作中,工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间,如应该配置每分钟执行的工作流被配置长了每秒执行
阅读全文
摘要:问题描述 由于 Apache DolphinScheduler 长期运行,任务数量不断增加,相关任务数据主要存储在数据库中的 t_ds_task_instance 和 t_ds_process_instance 两张表中。 随着这两张表数据量的持续增长,导致系统页面出现卡顿现象。 解决方案 为解决上
阅读全文
摘要:这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注!
阅读全文
摘要:背景描述 注意 : 在 Dolphinscheduler 中,离线任务是有完整的声明周期的,比如说停止、暂停、暂停恢复、重跑等等,都是以DAG(有向无环图的形式进行任务组织)T+1离线任务的。 Dolphinscheduler DAG实现 org.apache.dolphinscheduler.co
阅读全文
摘要:在数字化转型的浪潮中,Apache DolphinScheduler以其强大的调度能力,成为连接传统行业与前沿科技的桥梁。2024年12月17日14:00, Apache DolphinScheduler社区将举办一场线上用户交流活动,届时将邀请来自能源投资工程和智能驾驶领域的专家,分享Dolphi
阅读全文