摘要: 功能需求背景 由于信创(信息技术应用创新产业)改造要求,上个月已将从数据仓库推送下游官网系统的ORACLE数据库相关数据推送任务迁移到信创人大金仓临时数据库,整体任务完成切换上线并试运行稳定。 由于年底需要进行信创数据库的正式上线,目前需要将人大金仓临时数据库切换到生产环境的人大金仓正式数据库,两者 阅读全文
posted @ 2025-01-03 16:34 海豚调度 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 在2024年,白鲸开源的“新一代数据集成调度平台WhaleStudio”荣获了DataFun社区颁发的第二届星空奖-数智技术最佳探索奖。这一奖项是针对在数智技术领域取得显著成就的技术产品而设立,特别关注那些展现出卓越创新性、领先性、实用性及自主知识产权的技术。WhaleStudio的获奖,标志着其在 阅读全文
posted @ 2025-01-02 18:23 海豚调度 阅读(6) 评论(0) 推荐(1) 编辑
摘要: 作者 | 袁丙泽 编辑 | Debra Chen 在处理涉及每年周数问题时,如果处于不同的地区或文化中,总会遇见一些标准问题。比如基督教信徒喜欢把周日当做每周的第一天。而不同的编程语言,也会有自己的处理方案,有些是每年从第0周开始,有些是从第一周开始。对于数据分析者来说,标准不统一带来的歧义是非常致 阅读全文
posted @ 2025-01-02 18:18 海豚调度 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 2024年社区高光时刻总结! 亲爱的朋友们,让我们把时间的快门按下,一起回顾这一年的点点滴滴。就像翻阅一本精彩的相册,每一张照片都记录着我们Apache DolphinScheduler社区的欢笑和泪水。那么,准备好了吗?让我们一起跳进时光机,回顾社区里2024年那些难忘的瞬间吧! 时光荏苒,新年将 阅读全文
posted @ 2025-01-02 18:13 海豚调度 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 仅展示部分案例,文末附完整版🔻 引言 数据驱动时代,高效的数据处理和分析能力已成为各行各业的核心竞争力。而高效的数据处理离不开强大的工作流调度系统。Apache DolphinScheduler 正是这样一款功能强大的分布式工作流调度平台,它以其灵活的架构、强大的功能和易于使用的界面,帮助企业和组 阅读全文
posted @ 2024-12-26 15:11 海豚调度 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 文|作业帮大数据团队(阮文俊、孙建业) 背 景 基于 Apache DolphinScheduler (以下简称DolphinScheduler)搭建的 UDA 任务调度平台有效支撑了公司的业务数据开发需求,处理着日均百万级别的任务量。 整个 UDA 的架构如下图所示,其中我们的引擎层主要基于 Do 阅读全文
posted @ 2024-12-24 16:27 海豚调度 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 视频及PPT等相关资料:点击查看 讲师介绍 陶超权,博世智驾(中国)后端工程师,负责数据处理和数据调度方面工作,在智能驾驶数据处理领域具有丰富的实践经验。在2024年12月Apache DolphinScheduler社区线上交流会上上,他分享了Apache DolphinScheduler在智能驾 阅读全文
posted @ 2024-12-19 10:02 海豚调度 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 背景 Apache DolphinScheduler 定时任务配置采用的 7 位 Crontab 表达式,分别对应秒、分、时、月天、月、周天、年。 在团队日常开发工作中,工作流的定时调度一般不会细化到秒级别。但历史上出现过因配置的疏忽大意而产生故障时间,如应该配置每分钟执行的工作流被配置长了每秒执行 阅读全文
posted @ 2024-12-10 22:29 海豚调度 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 问题描述 由于 Apache DolphinScheduler 长期运行,任务数量不断增加,相关任务数据主要存储在数据库中的 t_ds_task_instance 和 t_ds_process_instance 两张表中。 随着这两张表数据量的持续增长,导致系统页面出现卡顿现象。 解决方案 为解决上 阅读全文
posted @ 2024-12-06 15:33 海豚调度 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 这里将记录 DolphinScheduler 社区每月的重要更新,欢迎关注! 阅读全文
posted @ 2024-12-05 10:23 海豚调度 阅读(12) 评论(0) 推荐(0) 编辑