前言 写这篇东西，是因为官方文档看着太痛苦，于是乎想用大白话来聊聊 ElasticSearc (下面都简称ES)。所以下文对于 ES 一些概念的表述可能会与官方有出入，所以需要准确的表述和详细定义的，请跳转官方文档。我也尽量贴上官方的链接。 前置知识：因为下文会使用 mysql 的一些概念来描述，所 ...

我司使用Apache DolphinScheduler作为调度框架很久了，感兴趣的小伙伴可以看看这些干货文章： 因为之前监控到会出现重复的调度的问题，所以此文记录排查重复调度问题的全过程，希望对社区其他的小伙伴能够起到抛砖引玉的作用！ 注：本文使用的DolphinScheduler 3.1.1的版本 ...

正处于企业指标建设过程中的你，是否经常遇到这样的问题： • 各个部门独立建设信息系统，由此产生的指标定义和计算方式各异，导致管理层无法快速准确地掌握整体业务运行状况 • 缺乏对指标的统一管理和规范，产生重复的指标计算工作，导致数据计算资源被过度消耗，增加运维成本和数据处理压力 • 不知道指标体系建设 ...

集群部署方案(2 Master + 3 Worker) Apache DolphinScheduler官网：https://dolphinscheduler.apache.org/zh-cn Apache DolphinScheduler使用文档：https://dolphinscheduler.a ...

随着大数据技术的演进和信息安全性需求的提升，数据规模的持续扩张为数据运维工作带来了严峻考验。面对海量数据所形成的繁重管理压力，运维人员面临效率瓶颈，而不断攀升的人力成本也使得单纯依赖扩充运维团队来解决问题变得不再实际可行。 由此可见，智能化与高效便捷是运维发展的必然方向。袋鼠云所推出的巡检报告功能， ...

金融业务产品授信准入、交易营销等环节存在广泛的风控诉求，随着业务种类增多，传统的专家规则、评分卡模型难以应付日趋复杂的风控场景。 在传统风控以专家规则系统为主流应用的语境下，规则模型的入参习惯被称为“变量”。基于专家规则的风险评估，存在规则触发阈值难量化的特点，规则命中精准度提升存在瓶颈。 随着机器 ...

CloudCanal 最近对于全周期数据流动进行了初步探索，打通了 Hive 目标端的实时同步，为实时数仓的构建提供了支持，这篇文章简要做下分享。 ...

指标是什么？ 业务发展过程中，企业内外部都会产生很多的业务数据，对这些数据进行采集、计算、落库、分析后，形成的统计结果称为指标。简单来说，指标是业务被拆解、量化后形成的数量特征，企业利用数据指标对业务进行精准的号脉，实现对业务的科学管理和有效优化。 在我们对多家企业展开深入调研的过程中，发现数据指标 ...

在大数据处理领域，Apache SeaTunnel 已成为一款备受青睐的开源数据集成平台，它不仅可以基于Apache Spark和Flink，而且还有社区单独开发专属数据集成的Zeta引擎，提供了强大的数据处理能力。随着SeaTunnel Web的推出，用户界面(UI)操作变得更加友好，项目部署和管 ...

北京白鲸开源科技有限公司（以下简称“白鲸开源”）今日宣布，其旗舰产品WhaleStudio套件已与瀚高基础软件股份有限公司（以下简称“瀚高软件”）旗下的IvorySQL数据库管理系统V3.0完成深度兼容性认证。此次合作标志着两家领军企业在数据管理领域的紧密联合，为用户提供更加稳定、高效的数据处理解决 ...

非常欢迎大家来到Apache DolphinScheduler社区！随着开源技术在全球范围内的快速发展，社区的贡献者 “同仁” 一直致力于构建一个强大而活跃的开源调度系统社区，为用户提供高效、可靠的任务调度和工作流管理解决方案。 在过去的一段时间里，我们取得了一些重要的成就，但我们的愿景远未实现。为 ...

欢迎阅读袋鼠云09期产品功能更新报告。在此期报告中，我们秉持创新与优化并重的理念，对产品进行了深度打磨与全面升级。每一处细节的改进，都是我们对卓越品质的不懈追求，期待这些新功能能助力您的业务运营与发展，让数字化转型之路更加畅通无阻。 以下为袋鼠云产品功能更新报告09期内容，更多探索，请继续阅读。 离 ...

近期，Apache DolphinScheduler 社区激动地宣布 3.2.1 版本的发布。此次更新不仅着力解决了前一版本（3.2.0）中遗留的问题，而且引入了一系列的功能增强和优化措施。 原先的问题主要源于部分重要代码在发布过程中未能成功合并（cherry-pick），加之这部分代码的合并过程较 ...

前言： 大数据领域对多种任务都有调度需求，以离线数仓的任务应用最多，许多团队在调研开源产品后，选择Apache DolphinScheduler（以下简称DS）作为调度场景的技术选型。得益于DS优秀的特性，在对数仓任务做运维和管理的时候，往往比较随意，或将所有任务节点写到一个工作流里，或将每个逻辑节 ...

背景 看到Apache DolphinScheduler社区群有很多用户反馈和讨论这块问题，针对不兼容的问题，不仅需要自己重新编译各一个新包，而且因为默认是使用zk-3.8的配置，所以会出现不兼容问题。使用zk-3.4配置即可适配3.4.x 解决办法（一） 切换到项目源码的根路径中执行 mvn cl ...

转载至我的博客 https://www.infrastack.cn ，公众号：架构成长指南 背景 随着公司业务快速发展，对业务数据进行增长分析的需求越来越迫切，与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右，一年就会产生1 个亿的数据，显然基于传统MySQL数据库已经无法支 ...

这篇笔记咱主要记录了Hadoop执行Job时可能出现的 /bin/java: No such file or directory 以及 java.lang.reflect.InaccessibleObjectException 问题。 ...

2024年1月2日，北京白鲸开源科技有限公司（以下简称"白鲸开源"）荣幸宣布，白鲸开源旗下产品 WhaleStudio V2.4 已成功通过与麒麟软件有限公司旗下的银河麒麟高级服务器操作系统产品的兼容性测试。 麒麟软件有限公司的银河麒麟高级服务器操作系统(飞腾版)V10和银河麒麟高级服务器操作系统( ...

最新Emlog采集发布插件-免费下载及使用教程 1. 免费下载emlog采集发布插件并安装； 2. Emlog采集发布插件对接简数采集器； 3. 采集网页文章自动发布到emlog网站； ...

北京时间2024年2月20日，中国领先的开源技术公司，白鲸开源科技有限公司（以下简称"白鲸开源"）荣幸宣布，该公司获得了第六届 "年度金猿季大型主题策划活动" 颁发的 "2023大数据产业年度最具投资价值" 奖项。这一殊荣是对白鲸开源在大数据领域取得的卓越成就和突出贡献的认可。 金猿季推动产业升级 ...