03 2024 档案

摘要:升级背景 因项目需要使用数据质量模块功能,可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上,此次选择测试了3.0.1 和 3.1.1 两个版本,对进行同数据等任务调度暂停等操作测试,最后选择3.0.1 版本 原因: 1. 3.1.1 在测试sql任务时 ,同时启动上百s 阅读全文
posted @ 2024-03-26 09:29 海豚调度 阅读(334) 评论(0) 推荐(0) 编辑
摘要:背景 近年来随着国际形势的变化,信创产业成为我国国家战略的一部分。一直以来,一直以来,全球 ICT 产业底层标准、架构、产品、生态等要素均由国外公司或机构制定和控制,使我国 ICT 产业乃至广大用户面临被卡脖子、数据泄露、信息安全等诸多风险,尤其是 2018年以来,中兴、华为等公司的遭遇成为鲜活的实 阅读全文
posted @ 2024-03-22 13:47 海豚调度 阅读(93) 评论(0) 推荐(0) 编辑
摘要:在用Apache SeaTunnel研发SM2加密组件过程中,发现社区关于本地调试SeaTunnel文章过于简单,很多情况没有说明,于是根据自己遇到问题总结这篇文档。SeaTunnel本地调试官方文档,希望对大家有所帮助! 使用的引擎为Flink(不需要下载,SeaTunnel中有加载依赖),输入输 阅读全文
posted @ 2024-03-20 17:37 海豚调度 阅读(594) 评论(0) 推荐(0) 编辑
摘要:我司使用Apache DolphinScheduler作为调度框架很久了,感兴趣的小伙伴可以看看这些干货文章: 因为之前监控到会出现重复的调度的问题,所以此文记录排查重复调度问题的全过程,希望对社区其他的小伙伴能够起到抛砖引玉的作用! 注:本文使用的DolphinScheduler 3.1.1的版本 阅读全文
posted @ 2024-03-18 16:27 海豚调度 阅读(511) 评论(0) 推荐(0) 编辑
摘要:集群部署方案(2 Master + 3 Worker) Apache DolphinScheduler官网:https://dolphinscheduler.apache.org/zh-cn Apache DolphinScheduler使用文档:https://dolphinscheduler.a 阅读全文
posted @ 2024-03-11 15:16 海豚调度 阅读(3379) 评论(0) 推荐(0) 编辑
摘要:在大数据处理领域,Apache SeaTunnel 已成为一款备受青睐的开源数据集成平台,它不仅可以基于Apache Spark和Flink,而且还有社区单独开发专属数据集成的Zeta引擎,提供了强大的数据处理能力。随着SeaTunnel Web的推出,用户界面(UI)操作变得更加友好,项目部署和管 阅读全文
posted @ 2024-03-01 08:55 海豚调度 阅读(3349) 评论(2) 推荐(1) 编辑

点击右上角即可分享
微信分享提示