0

读DAMA数据管理知识体系指南06数据治理(下)

数据治理需规划,含复杂性协调,需定义流程、术语表,协调架构师,分配数据财务价值。实施包括发起标准、规程,制定术语表,协调团队,估值数据资产。需嵌入流程,利用工具方法,实施指南,注重组织文化和变革管理,灵活调整沟通策略。度量指标关注价值、有效性、可持续性。 ...

躺柒 发布于 2025-02-27 08:00 评论(0) 阅读(2)
0

不重视数据质量,企业要出大问题!

在数字化浪潮席卷全球的当下,数据已然成为企业的核心资产,宛如血液一般流淌于企业运营的每一个脉络之中。从市场趋势的精准洞察,到产品研发的创新方向把控;从营销策略的制定与优化,再到客户关系的精细化管理,企业的每一项关键决策都深深依赖数据的支撑。而数据质量,作为这一系列决策的基石,其重要性不言而喻。 数据 ...

海豚调度 发布于 2025-02-26 16:02 评论(0) 阅读(12)
0

读DAMA数据管理知识体系指南05数据治理(中)

数据治理需支持业务战略,明确治理责任,评估能力,制定战略框架,参与变革与问题管理,确保法规遵从,通过监控和评估提升数据质量和治理效果。 ...

躺柒 发布于 2025-02-26 07:06 评论(0) 阅读(8)
0

看过来!Apache DolphinScheduler版本升级指南

Apache DolphinScheduler自2.0.1版本后增加了版本自动升级功能,官方文档提供了一键升级脚本: sh ./script/create-dolphinscheduler.sh 如果只是跨小版本的更新,那么只用执行脚本就好了,但跨多个大版本升级时依然容易出现一些问题,特此总结。 ( ...

海豚调度 发布于 2025-02-25 10:24 评论(0) 阅读(12)
0

AI 赋能指标管理分析,开启企业数智领航时代

以下为本次分享的回顾: 在大数据时代,企业数字化转型的核心目标在于让数据发挥真正的价值。从数据报表到分析平台,再到日常取数,企业所依赖的不仅仅是数据本身,而是通过数据所呈现出对业务的分析、业务的查看以及业务未来趋势的洞察。再多数据只有同业务相结合转化为信息,经过处理呈现才能真正体现他们的价值,而这一 ...

袋鼠云数栈 发布于 2025-02-25 10:08 评论(0) 阅读(9)
0

读DAMA数据管理知识体系指南04数据治理(上)

1. 数据治理 1.1. Data Governance, DG 1.1.1. 定义是在管理数据资产过程中行使权力和管控,包括计划、监控和实施 1.1.2. 数据治理职能是指导所有其他数据管理领域的活 1.1.3. 目的是确保根据数据管理制度和最佳实践正确地管理数据 1.1.4. 数据管理的整体驱动 ...

躺柒 发布于 2025-02-25 07:04 评论(0) 阅读(10)
0

读DAMA数据管理知识体系指南03数据处理伦理

伦理准则涵盖公平、尊重等,数据处理需遵循伦理,保护数据质量,防止滥用,业务需合伦理以提升可信度,数据隐私法保障个人权利,建立数据伦理文化,数据治理确保合规。 ...

躺柒 发布于 2025-02-24 08:32 评论(0) 阅读(11)
0

读DAMA数据管理知识体系指南02数据管理(下)

数据管理涵盖数据优化、元数据管理、多角度思考、生命周期管理、风险管理、领导力及战略制定,需确保数据质量、安全并降低风险,利用DAMA框架等指导数据管理实践。 ...

躺柒 发布于 2025-02-23 08:24 评论(0) 阅读(11)
0

读DAMA数据管理知识体系指南01数据管理(上)

数据管理对企业至关重要,需规划、协作和领导力,确保数据质量和隐私,支撑企业决策和运营,数据是组织资产,需全生命周期管理,高质量数据带来竞争优势。 ...

躺柒 发布于 2025-02-22 08:38 评论(0) 阅读(12)
0

当任务失败时,顶级调度系统如何实现分钟级数据补偿?

一、补数机制的定义与挑战 补数(Backfill) 指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时,重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中,补数机制需解决三大核心挑战: 复杂依赖链重建:需精准识别历史时间段内任务上下游关系,避免因时间窗口错位导致数据逻辑混乱 ...

海豚调度 发布于 2025-02-21 17:20 评论(0) 阅读(17)
0

一张图掌握数据存储

数据存储有个学名:数据持久化,对信息系统来说,本质也是解决数据收集,数据存储,数据使用的问题,所以有必要对相关的知识点建立知识体系。数据存储体系五花八门,如果没有把握好技术选型,就有可能碰到访问速度慢,扩展性低的问题。 1、单机文件系统 文件存储在机械或者固态硬盘上,存储容量和单机磁盘空间大小相关。 ...

lodestar 发布于 2025-02-19 01:12 评论(0) 阅读(17)
0

袋鼠云:拥抱DeepSeek大模型,做Data+AI的长期主义者

《数据资产管理白皮书》下载地址:https://www.dtstack.com/resources/1073/?src=szsm 《行业指标体系白皮书》下载地址:https://www.dtstack.com/resources/1057/?src=szsm 《数据治理行业实践白皮书》下载地址:ht ...

袋鼠云数栈 发布于 2025-02-18 17:19 评论(0) 阅读(28)
0

DolphinScheduler环境搭建、服务启动等常见问题及解决方案

Apache DolphinScheduler 作为一款分布式易扩展的工作流调度系统,广泛应用于大数据任务编排。然而,在实际使用中,用户可能会遇到环境搭建、服务启动、工作流执行等问题。本文结合社区文档与用户实践经验,整理以下高频问题及详细解决方案,帮助用户快速定位并解决问题。 一、安装与部署问题 环 ...

海豚调度 发布于 2025-02-18 14:29 评论(0) 阅读(71)
0

2月19日直播预告|智能指标中枢,构建一体化数据驱动决策平台

为了帮助企业更有效地推进数字化转型升级,袋鼠云精心策划了一系列以“数字基建+数智应用”为核心的赋能分享活动,本系列直播共有四期,每期聚焦于不同的关键议题,深入探讨企业数字化转型中面临的挑战以及可行的应对策略。 我们期待通过这些直播活动,与业界同仁深化交流,共同探讨数字化转型中的难点与痛点,并寻找切实 ...

袋鼠云数栈 发布于 2025-02-17 16:16 评论(0) 阅读(12)
0

2025年,怎么靠技术传播自我“破圈”?

亲爱的社区小伙伴们,Apache DolphinScheduler 2025年 Meetup 讲师&议题开始征集。提升自我价值,实现自我“破圈”,这里是你最好的舞台,快来一起开启你的技术传播之旅吧! 如果你热爱Apache DolphinScheduler,对大数据调度有着深厚的兴趣,并且愿意将你关 ...

海豚调度 发布于 2025-02-17 14:43 评论(0) 阅读(15)
0

全链路数据引擎:WhaleStudio驱动下的大数据调度与同步智能革新

在数字化转型不断加速的今天,数据已成为企业最宝贵的资产,而如何高效地处理、传输和协调这些海量数据成为企业制胜的关键。大数据调度与同步正是支撑这一核心业务的两大技术支柱。本文将详细阐述大数据调度与同步的工作原理、二者之间的紧密关系以及它们对现代企业的重要性,并重点介绍商业化产品 WhaleStudio ...

海豚调度 发布于 2025-02-12 14:51 评论(0) 阅读(30)
0

用Ambari安装DolphinScheduler,超简单!

Ambari是一个用于管理Hadoop集群的工具,虽然Ambari本身并不直接支持DolphinScheduler的安装,但我们可以通过自定义服务的方式将其集成到Ambari中。本文将描述如何使用Ambari安装DolphinScheduler。 1.将需要集成到Ambari的服务安装包放到该目录下 ...

海豚调度 发布于 2025-02-10 15:00 评论(0) 阅读(17)
0

探索数据编码:Delta Encoding

写在前面 在解决Doris访问AWS上存储的Parquet文件时,曾碰到过Doris不支持Delta Encoding导致数据读取失败。于是打算整理下跟Delta Encoding相关的知识,为解决连续的整型存储、Timestamp、Date类型存储时的压缩效率问题提供参考。 数据编码指的是从一种数 ...

mcdvuli 发布于 2025-02-07 23:02 评论(0) 阅读(29)
0

大模型时代的软件进化论:恐龙式软件 vs. 猴群式软件

春节期间,IT圈内两件大事持续发酵,一件是中国大模型DeepSeek R1的开源震动全球AI界,让中国科技界扬眉吐气,廉价大模型走入千家万户;另一件是SAP被客户居然之家告上法庭,要求索赔590万开发费用和1700万软件费用,最终法院判SAP退还350万研发费用。这两件事的背后,实际上映射了一个势不 ...

海豚调度 发布于 2025-02-07 18:14 评论(0) 阅读(39)
0

详细教程 | 如何使用DolphinScheduler调度Flink实时任务

Apache DolphinScheduler 非常适用于实时数据处理场景,尤其是与 Apache Flink 的集成。DolphinScheduler 提供了丰富的功能,包括任务依赖管理、动态调度、实时监控和日志管理,能够有效简化 Flink 实时任务的管理和部署。通过 DolphinSchedu ...

海豚调度 发布于 2025-02-07 11:35 评论(0) 阅读(65)

统计信息

  • 博客 - 796552
  • 随笔 - 11535459
  • 文章 - 974326
  • 评论 - 4156313