摘要：
文|作业帮大数据团队（阮文俊、孙建业） 背 景 基于 Apache DolphinScheduler （以下简称DolphinScheduler）搭建的 UDA 任务调度平台有效支撑了公司的业务数据开发需求，处理着日均百万级别的任务量。 整个 UDA 的架构如下图所示，其中我们的引擎层主要基于 Do 阅读全文
posted @ 2024-12-24 16:27
海豚调度
阅读(403)
评论(0)
推荐(0)
摘要：
视频及PPT等相关资料：点击查看 讲师介绍 陶超权，博世智驾（中国）后端工程师，负责数据处理和数据调度方面工作，在智能驾驶数据处理领域具有丰富的实践经验。在2024年12月Apache DolphinScheduler社区线上交流会上上，他分享了Apache DolphinScheduler在智能驾 阅读全文
posted @ 2024-12-19 10:02
海豚调度
阅读(151)
评论(0)
推荐(0)
摘要：
背景 Apache DolphinScheduler 定时任务配置采用的 7 位 Crontab 表达式，分别对应秒、分、时、月天、月、周天、年。 在团队日常开发工作中，工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间，如应该配置每分钟执行的工作流被配置长了每秒执行 阅读全文
posted @ 2024-12-10 22:29
海豚调度
阅读(325)
评论(0)
推荐(0)
摘要：
问题描述 由于 Apache DolphinScheduler 长期运行，任务数量不断增加，相关任务数据主要存储在数据库中的 t_ds_task_instance 和 t_ds_process_instance 两张表中。 随着这两张表数据量的持续增长，导致系统页面出现卡顿现象。 解决方案 为解决上 阅读全文
posted @ 2024-12-06 15:33
海豚调度
阅读(431)
评论(0)
推荐(0)
摘要：
这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！ 阅读全文
posted @ 2024-12-05 10:23
海豚调度
阅读(89)
评论(0)
推荐(0)
摘要：
背景描述 注意 : 在 Dolphinscheduler 中，离线任务是有完整的声明周期的，比如说停止、暂停、暂停恢复、重跑等等，都是以DAG(有向无环图的形式进行任务组织)T+1离线任务的。 Dolphinscheduler DAG实现 org.apache.dolphinscheduler.co 阅读全文
posted @ 2024-12-05 10:18
海豚调度
阅读(468)
评论(0)
推荐(0)
摘要：
在数字化转型的浪潮中，Apache DolphinScheduler以其强大的调度能力，成为连接传统行业与前沿科技的桥梁。2024年12月17日14:00， Apache DolphinScheduler社区将举办一场线上用户交流活动，届时将邀请来自能源投资工程和智能驾驶领域的专家，分享Dolphi 阅读全文
posted @ 2024-12-03 14:44
海豚调度
阅读(71)
评论(0)
推荐(0)
浙公网安备 33010602011771号