随笔分类 - 数据仓库
摘要:在数据仓库的构建过程中,面对来源多样、结构各异的海量数据,如何对其进行有效的梳理和组织,是确保数据仓库具备良好可扩展性、可维护性和高应用价值的关键。数据域是组织数据模型、支撑指标开发与数据治理的核心逻辑单元。其本质是对业务系统中相关联的数据实体和业务过程进行归类与抽象,以实现数据结构化、标准化与可复
阅读全文
摘要:首先是 OLTP 与 OLAP联机事务处理(OLTP),简单来讲,例如 MySQL 这种关系型数据库就是 OLTP,主要用来服务于业务系统,执行基本的增删改查的操作联机分析处理(OLAP),侧重分析,可以快速处理复杂的分析操作OLAP 分为 MOLAP、ROLAP 和 HOLAPMOLAPMOLAP
阅读全文
摘要:DWS(Data Warehouse Summary)层通常是指数据仓库中的汇总层,它在数据仓库架构中扮演着将DWD层(明细数据层)的数据进行进一步聚合和汇总的角色。在设计DWS层时,颗粒度的选择非常关键,因为它直接影响到数据的汇总方式和分析的灵活性。 根据搜索结果,DWS层的设计应该围绕业务过程进
阅读全文
摘要:原文:https://mp.weixin.qq.com/s/DP2H1CCs06KmOD17zhtTJw 数据模型从主题域模型、概念模型到逻辑模型、物理模型,逐步从抽象的业务需求转化为具体的技术实现。这一过程确保数据结构既能准确反映业务逻辑,又能在实际系统中高效地存储和处理数据。逻辑模型中的规范化(
阅读全文
摘要:前言 在数字化时代,企业越来越依赖数据驱动决策,报表作为数据呈现的核心工具,其重要性不言而喻。 然而,很多企业在报表开发过程中遇到了诸多问题,尤其是在与数据仓库各层模型设计开发的衔接上。 本文我们将深入探讨报表开发与数据仓库的关系,以及如何高效地进行报表开发。 一、报表开发与数仓各层模型设计开发的关
阅读全文
摘要:前言 在数据仓库(DWS)构建完成后,随着业务需求的不断变化,我们常常需要对数据仓库进行调整和优化。 一个常见的场景是需要在现有的数据仓库中添加新的维度字段。 面对这种情况,我们应该如何处理 深入分析下游使用情况 在做出决策之前,首先需要深入分析下游使用情况。 数据仓库的设计不是孤立的,它直接影响着
阅读全文
摘要:数据仓库中的7种建模方法及示例 原创(https://mp.weixin.qq.com/s/4Nnhih4ccLxs5hguQMZRHA) 晓晓 数据驱动智能 2024-06-09 07:19 陕西 图片 试象一下,你是一家繁忙餐厅的分析工程师。每天,顾客都会预订、下订单并完成付款。所有这些数据都会
阅读全文
摘要:用户信息维表设计思路 原创 语兴呀 语数 2024-05-29 09:26 江苏 数据开发交流(联系管理员进群) 图片 多系统数据整合与优化 在大数据时代,用户信息往往来源于多个不同的系统,例如淘宝天猫线上订单、抖店线上订单、自有APP和小程序、线下门店等。 如何将这些不同来源的数据整合成一个统一的
阅读全文

浙公网安备 33010602011771号