01 2025 档案
摘要:转载自风_间 上一篇写了《DolphinScheduler接口实操(一):利用接口实现高效批量工作流导入及脚本上线》,通过DolphinScheduler的一些接口来实现导入-上线工作流,那么DolphinScheduler的接口应该怎么找呢?在此简单总结一篇。 接下来以手动执行一次工作流为例。 寻
阅读全文
摘要:导读 某地方性股份制商业银行主要提供个人金融、公司金融、国际金融等方面的业务,承担着大量的金融数据处理与分析任务。这些任务对于确保银行的运营效率、风险管理和客户服务至关重要。过去,该银行一直依赖自建的调度系统来管理和协调这些数据任务,确保数据的准确性和及时性。然而,随着业务的不断扩展和数据量的急剧增
阅读全文
摘要:实现了批量生成DolphinScheduler的任务,当导入时发现只能逐个导入,因此通过接口实现会更方便。 DolphinScheduler接口文档 DolphinScheduler是有接口文档的,地址是 http://IP:12345/dolphinscheduler/swagger-ui/ind
阅读全文
摘要:谁都不会想到,美国即将对Tiktok发出的禁令会让故事发生这样的转向,小红书竟成最后“赢家”。 小红书首页的“国际范” 一夜之间,小红书的首页被大量英文帖子“攻占”。中国网友纷纷表示:“一觉醒来,我成外国人了?”。这些新用户自称“TikTok难民”,并迅速在小红书上开设账号,上传内容,分享生活点滴、
阅读全文
摘要:问题现象 有时候,Apache DolphinScheduler项目管理页面会发生加载不出来的问题,浏览器查看为[http://ip:12345/dolphinscheduler/projects?pageSize=10&pageNo=1&searchVal=]请求超时。 解决思路 查看海豚运行日志
阅读全文
摘要:概述 本篇主要介绍如何通过Dolphinscheduler海豚调度搭配Seatunnel完成异构数据源之间的数据同步功能,这个在大数据流批一体数仓建设的过程中是一个非常好的解决方案, 稳定高效,只要用上了你肯定爱不释手。 环境准备 dolphinscheduler集群 >= 3.1.5 dolphi
阅读全文
摘要:01 问题复现 在DolphinScheduler中有如下一个Shell任务: current_timestamp() { date +"%Y-%m-%d %H:%M:%S" } TIMESTAMP=$(current_timestamp) echo $TIMESTAMP sleep 60 在Dol
阅读全文
摘要:在数字化转型的大潮中,企业面临着数据爆炸性增长的挑战。如何有效地整合和管理来自不同来源的数据,成为企业提升竞争力的关键。本文将详细介绍惠生工程(中国)基于Apache DolphinScheduler的多源数据集成实践解决方案,包括背景介绍、痛点分析、调度策略设计、关键技术方案以及运维管理经验总结等
阅读全文
摘要:在国产软硬件生态建设的征程中,又迎来重要成果。北京白鲸开源科技有限公司与统信软件技术有限公司联合宣布,白鲸数据集成系统V2.6和数据调度系统V2.6分别在统信服务器操作系统V25上通过了严格的功能与兼容性测试,获得了统信软件的互认证明。 白鲸开源数据调度系统V2.6与统信服务器操作系统V25互认证明
阅读全文
摘要:功能需求背景 由于信创(信息技术应用创新产业)改造要求,上个月已将从数据仓库推送下游官网系统的ORACLE数据库相关数据推送任务迁移到信创人大金仓临时数据库,整体任务完成切换上线并试运行稳定。 由于年底需要进行信创数据库的正式上线,目前需要将人大金仓临时数据库切换到生产环境的人大金仓正式数据库,两者
阅读全文
摘要:在2024年,白鲸开源的“新一代数据集成调度平台WhaleStudio”荣获了DataFun社区颁发的第二届星空奖-数智技术最佳探索奖。这一奖项是针对在数智技术领域取得显著成就的技术产品而设立,特别关注那些展现出卓越创新性、领先性、实用性及自主知识产权的技术。WhaleStudio的获奖,标志着其在
阅读全文
摘要:作者 | 袁丙泽 编辑 | Debra Chen 在处理涉及每年周数问题时,如果处于不同的地区或文化中,总会遇见一些标准问题。比如基督教信徒喜欢把周日当做每周的第一天。而不同的编程语言,也会有自己的处理方案,有些是每年从第0周开始,有些是从第一周开始。对于数据分析者来说,标准不统一带来的歧义是非常致
阅读全文
摘要:2024年社区高光时刻总结! 亲爱的朋友们,让我们把时间的快门按下,一起回顾这一年的点点滴滴。就像翻阅一本精彩的相册,每一张照片都记录着我们Apache DolphinScheduler社区的欢笑和泪水。那么,准备好了吗?让我们一起跳进时光机,回顾社区里2024年那些难忘的瞬间吧! 时光荏苒,新年将
阅读全文