1 2 3 4 5 ··· 37 下一页
摘要: 一、补数机制的定义与挑战 补数(Backfill) 指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时,重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中,补数机制需解决三大核心挑战: 复杂依赖链重建:需精准识别历史时间段内任务上下游关系,避免因时间窗口错位导致数据逻辑混乱 阅读全文
posted @ 2025-02-21 17:19 海豚调度 阅读(11) 评论(0) 推荐(0) 编辑
摘要: Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统,广泛应用于大数据任务编排。然而,在实际使用中,用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验,整理以下高频问题及详细解决方案,帮助用户快速定位并解决问题。 一、安装与部署问题 环 阅读全文
posted @ 2025-02-18 14:28 海豚调度 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 作者 | Alireza Sadeghi 译自Practical Data Engineering 2025年开源数据工程领域呈现蓬勃创新与生态重构的双重态势,九大技术赛道在实时化、轻量化与云原生架构驱动下加速演进。一份来自外网的2025年开源数据工程全景图全面地展示了这一领域的发展态势与走向,现翻 阅读全文
posted @ 2025-02-17 15:11 海豚调度 阅读(24) 评论(0) 推荐(0) 编辑
摘要: DS缩写风云:从“小海豚”到“深度求索”的魔幻现实 曾几何时,技术圈提到DS,人们脑海中浮现的是一只灵动的“小海豚”——Apache DolphinScheduler(简称DS)。这个2019年诞生的分布式任务调度系统,凭借可视化DAG界面、多租户支持和对Hadoop/Spark生态的深度集成,一度 阅读全文
posted @ 2025-02-17 14:48 海豚调度 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 亲爱的社区小伙伴们,Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值,实现自我“破圈”,这里是你最好的舞台,快来一起开启你的技术传播之旅吧! 如果你热爱Apache DolphinScheduler,对大数据调度有着深厚的兴趣,并且愿意将你关 阅读全文
posted @ 2025-02-17 14:43 海豚调度 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 在数字化转型不断加速的今天,数据已成为企业最宝贵的资产,而如何高效地处理、传输和协调这些海量数据成为企业制胜的关键。大数据调度与同步正是支撑这一核心业务的两大技术支柱。本文将详细阐述大数据调度与同步的工作原理、二者之间的紧密关系以及它们对现代企业的重要性,并重点介绍商业化产品 WhaleStudio 阅读全文
posted @ 2025-02-12 14:50 海豚调度 阅读(28) 评论(0) 推荐(0) 编辑
摘要: Ambari是一个用于管理Hadoop集群的工具,虽然Ambari本身并不直接支持DolphinScheduler的安装,但我们可以通过自定义服务的方式将其集成到Ambari中。本文将描述如何使用Ambari安装DolphinScheduler。 1.将需要集成到Ambari的服务安装包放到该目录下 阅读全文
posted @ 2025-02-10 15:00 海豚调度 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 春节期间,IT圈内两件大事持续发酵,一件是中国大模型DeepSeek R1的开源震动全球AI界,让中国科技界扬眉吐气,廉价大模型走入千家万户;另一件是SAP被客户居然之家告上法庭,要求索赔590万开发费用和1700万软件费用,最终法院判SAP退还350万研发费用。这两件事的背后,实际上映射了一个势不 阅读全文
posted @ 2025-02-07 18:14 海豚调度 阅读(38) 评论(0) 推荐(0) 编辑
摘要: Apache DolphinScheduler 非常适用于实时数据处理场景,尤其是与 Apache Flink 的集成。DolphinScheduler 提供了丰富的功能,包括任务依赖管理、动态调度、实时监控和日志管理,能够有效简化 Flink 实时任务的管理和部署。通过 DolphinSchedu 阅读全文
posted @ 2025-02-07 11:35 海豚调度 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 各位热爱DolphinScheduler的小伙伴们,新年新气象,今年1月份的社区月报如期而至,请查收! 这里将更新DolphinScheduler项目和社区每月的重大进展,敬请关注。 DolphinScheduler月度Merge Stars 感谢以下小伙伴上个月为 Apache DolphinSc 阅读全文
posted @ 2025-02-06 15:53 海豚调度 阅读(31) 评论(0) 推荐(0) 编辑
1 2 3 4 5 ··· 37 下一页
点击右上角即可分享
微信分享提示