11 2024 档案
摘要：本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则
阅读全文
摘要：本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则
阅读全文
摘要：Apache DolphinScheduler的JavaTask可以通过在任务执行日志中输出特定格式的参数来支持OUT参数的下游传输，通过捕捉日志并将其作为参数传递给下游任务。这种机制允许任务间的数据流动和通信，增强了工作流的灵活性和动态性。 那具体要怎么做呢？本文将进行详细的讲解。 0 修改一行源
阅读全文
摘要：当 Apache DolphinScheduler 运行几个月后，大部分朋友会发现 Logs 下的运行日志越来越多，这时可以考虑清理下 Logs/ 目录下的日志文件，比如设置只保留最近 3 天的日志，怎么操作呢？ 可以通过执行以下三个命令来实现： find ./logs -type f -mtime
阅读全文
摘要：作者 | 白鲸开源 姜维 在数据集成和调度的领域，Informatica曾经是公认的权威工具。其强大的ETL功能、多年积累的市场经验，使其成为众多企业数据处理的核心工具。 然而，随着新一代大数据平台的迅速崛起，以及信创化改造的要求愈发严格，Informatica在现今复杂多变的生产环境中逐渐显现出不
阅读全文
摘要：近日，由中央网信办信息化发展局指导，中国互联网发展基金会、中国网络空间研究院和中国互联网投资基金联合主办的“2024中国互联网发展创新与投资大赛（开源）”总结发布活动在北京圆满落下帷幕。本届大赛以“开源创新，共建生态”为主题，旨在推动开源生态的高质量发展，选拔优秀开源项目，促进技术创新与人才培养。
阅读全文
摘要：Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 主要特性 易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes
阅读全文
摘要：本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则
阅读全文
摘要：导读 在 LLM 蓬勃发展的今天，数据工程已成为支持大规模 AI 模型训练的基石。DataOps 作为数据工程的重要方法论，通过优化数据集成、转换和自动化运维，加速数据到模型的闭环流程。本文聚焦新一代数据 & AI 集成工具- Apache SeaTunnel 在 DataOps 中的核心作用，并介
阅读全文
摘要：Apache DolphinScheduler 是一个分布式、易扩展的可视化数据工作流任务调度系统，广泛应用于数据调度和处理领域。 在大规模数据工程项目中，数据质量的管理至关重要，而 DolphinScheduler 也提供了数据质量检查的计算能力。本文将对 Apache DolphinSchedu
阅读全文
摘要：MapReduce是一种编程模型，用于处理和生成大数据集，主要用于大规模数据集（TB级数据规模）的并行运算。本文详细介绍了Dolphinscheduler在MapReduce任务中的应用，包括GenericOptionsParser与args的区别、hadoop jar命令参数的完整解释、MapReduce实例代码，以及如何在Dolphinscheduler中配置和运行MapReduce任务。
阅读全文
摘要：Quartz是一个开源的Java作业调度框架，它提供了强大的定时任务调度功能。在DolphinScheduler中，Quartz用于实现定时任务的调度和管理。DolphinScheduler通过QuartzExecutorImpl类与Quartz集成，将工作流及其定时管理操作与Quartz调度框架相
阅读全文
摘要：各位热爱 Apache DolphinScheduler 的小伙伴们，社区10月份月报更新啦！这里将记录 DolphinScheduler 社区每月的重要更新，欢迎关注！ 月度Merge之星 感谢以下小伙伴10月份为 Apache DolphinScheduler 所做的精彩贡献（排名不分先后）：
阅读全文
摘要：在数字化转型的浪潮下，银行业对数据的依赖日益加深。为提升数据管理和应用水平，西南某城商行于2022年启动了数据中台建设，采用创新技术手段优化其数据服务体系。 本文将深入探讨该行如何借助Whalestudio平台构建数据中台，以及在实际应用中取得的显著成效。 从需求到选择：数据中台系统的选型过程 该银
阅读全文
摘要：在大数据和现代 IT 环境中，任务调度与工作负载自动化（WLA）工具是优化资源利用、提升生产效率的核心驱动力。随着企业对数据分析、实时处理和多地域任务调度需求的增加，这些工具成为关键技术。 本文将介绍当前技术发展背景下的Top 10开源任务调度工具，并探讨它们在大数据和工作负载管理中的实际应用。 任
阅读全文
摘要：在当今快速发展的技术领域，DevOps、DataOps和MLOps成为了推动企业数字化转型的三大核心实践。它们各自关注不同的领域，但又相互关联，共同推动着软件和数据的高效开发与运营。 DevOps：软件开发的加速器 DevOps是一种将开发（Development）和运营（Operations）结合
阅读全文
摘要：01 背景 公司的数据开发平台需要用到DolphinScheduler做任务调度，其中一个场景是：上游任务执行结束后，需要将任务执行结果传递给下游任务。 DolphinScheduler肯定是能实现任务之间的传参的，具体的可以看：DolphinScheduler | 文档中心 (https://do
阅读全文
摘要：本文整理自白鲸开源联合创始人，Apache DolphinScheduler PMC Chair，Apache Foundation Member 代立冬的演讲。主要介绍了DolphinScheduler及其架构、DolphinScheduler与OceanBase 的联合大数据方案。 Dolphi
阅读全文
摘要：本文介绍了在Apache DolphinScheduler中嵌入Arthas的方法，以实现对接口调用的监控。Arthas是一款强大的 Java诊断工具，能够帮助开发者实时查看应用程序的运行状态、性能瓶颈和方法调用情况。在DolphinScheduler中集成Arthas，可以方便地捕获任务调度时的关
阅读全文