06数据仓库与建模 - 随笔分类 - 徐正柱-

Doris 与 ClickHouse 的深度对比及选型建议

摘要：转摘：https://blog.csdn.net/zero__007/article/details/121756413 一、背景介绍 Apache Doris是由百度贡献的开源MPP分析型数据库产品，亚秒级查询响应时间，支持实时数据分析；分布式架构简洁，易于运维，可以支持10PB以上的超大数据集；阅读全文

posted @ 2022-04-19 09:02 徐正柱- 阅读(3244) 评论(0) 推荐(0) 编辑

事实表设计

摘要：摘引： https://blog.csdn.net/wer0735/article/details/78178610 1 事实表基础 2 事务事实表 3 周期快照事实表 4 累积快照事实表 5 三种事实表的比较 6 无事实的事实表第一种是事实类，记录事件的发生。比如用户的浏览日志。第二种是条件、阅读全文

posted @ 2020-12-04 17:19 徐正柱- 阅读(224) 评论(0) 推荐(0) 编辑

数据仓库规范

摘要：系统的信息模型从存储的内容方面可以分为，STAGE接口信息模型、ODS/DWD信息模型，MID信息模型、DM信息模型、元数据信息模型。在各个信息模型中存储的内容如下描述： 1) SRC接口层信息模型：提供业务系统数据文件的临时存储，数据稽核，数据质量保证，屏蔽对业务系统的干扰，对于主动数据采集方式阅读全文

posted @ 2016-03-24 09:36 徐正柱- 阅读(16769) 评论(0) 推荐(0) 编辑

BI案例：BI在连锁零售业应用（ZT）

摘要：第一部分：连锁零售企业上BI的必要性．目前国内的连锁零售行业的发展趋势，呈现出产业规模化，经营业态多样化，管理精细化的特点。所谓管理精细化就是"精耕细作搞管理，领先一步订系统"。如今的商业企业在日常的经营过程中，产生了大量的信息，这些信息蕴藏了丰富的经营技巧和市场规律，怎样才能有效的利用这一宝贵... 阅读全文

posted @ 2015-08-25 09:31 徐正柱- 阅读(2055) 评论(0) 推荐(0) 编辑

BI案例：KPI在商业智能中的应用（ZT）

摘要：KPI（Key Performance Indication）即关键业绩指标，是通过对组织内部某一流程的输入端、输出端的关键参数进行设置、取样、计算、分析，衡量流程绩效的一种目标式量化管理指标，是把企业的战略目标分解为可运作的远景目标的工具，是企业绩效管理系统的基础。KPI是现代企业中受到普遍重... 阅读全文

posted @ 2015-08-25 09:21 徐正柱- 阅读(790) 评论(0) 推荐(0) 编辑

BI案例：某公司BI系统的九大主题分析

摘要：1．KPI分析 KPI分析按照管理层次和时间纬度对指标进行汇总统计及分析展示，以适应各级领导的管理需求。在某公司，KPI不仅只是一个数据展示，而且已经成为一个内部考核指标的监控平台。各级领导每天上班的第一件事就是打开系统，查看自己的业务指标。每个领导只需要点击相关指标就可以做进一步的分析。领导最关... 阅读全文

posted @ 2015-08-25 09:18 徐正柱- 阅读(1850) 评论(0) 推荐(0) 编辑

BI案例：某通信企业综合报表和决策分析系统实施案例

摘要：业务需求某家位列国内五大电信运营商之列的通信公司（以下简称“通信公司”）在多年的运营过程中，积累了大量的业务数据，分散在各个运营系统中（计费系统、九七工程、网管系统等）。这些系统主要是面向公司的日常运行和维护，虽拥有最全面详细的内容，但是却无法满足公司如市场分析、客户分析的需求。也就是说，这些数据库... 阅读全文

posted @ 2015-08-25 09:13 徐正柱- 阅读(869) 评论(0) 推荐(0) 编辑

数据仓库建模：浅析一致性维度

摘要：维度建模的数据仓库中，有一个概念叫Conformed Dimension，中文一般翻译为“一致性维度”。一致性维度是Kimball的多维体系结构（MD）中的三个关键性概念之一，另两个是总线架构（Bus Architecture）和一致性事实（Conformed Fact）。在多维体系结构中，没有物理... 阅读全文

posted @ 2015-08-25 09:07 徐正柱- 阅读(1275) 评论(0) 推荐(0) 编辑

数据仓库建模：浅析多值维度

摘要：在维度建模的数据仓库中，有一种维度表叫multivalue dimension，中文一般翻译为“多值维度”。多值维度有两种情况，第一种情况是指维度表中的某个属性字段同时有多个值。举例来说，一个帐户维度表中，帐户持有人姓名，可能会有多个顾客。这样，一个帐户对应多个顾客姓名，一个顾客也可以有多个帐户，它... 阅读全文

posted @ 2015-08-25 09:06 徐正柱- 阅读(1268) 评论(0) 推荐(0) 编辑

数据仓库建模：维模型的应用

摘要：确定数据范围实际上是对ODS进行主题划分的过程，这种划分是基于对业务系统的基础上而进行的，并不十分关心整个数据仓库系统上端应用需求，但是需要把上端应用需求与ODS数据范围进行验证，以确保应用所需的数据都已经从业务系统中抽取出来，并且得到了很好的组织。一般来讲，主题的划分是以业务系统的信息模型为依... 阅读全文

posted @ 2015-08-25 09:04 徐正柱- 阅读(478) 评论(0) 推荐(0) 编辑

数据仓库建模：定义事实表的粒度

摘要：维度建模中一个非常重要的步骤是定义事实表的粒度。定义了事实表的粒度，则事实表能表达数据的详细程度就确定了。定义粒度的例子如下：1．客户的零售单据上的每个条目。2．保险单上的每个交易。定义好事实表的粒度有很大的用处。第一个用处就是用来确定维度是否与该事实表相关。例如，对于粒度细到医疗单据上条目项的事实... 阅读全文

posted @ 2015-08-25 09:03 徐正柱- 阅读(4166) 评论(0) 推荐(0) 编辑

数据仓库建模：数据仓库维度建模

摘要：转摘:http://blog.itpub.net/7600305/viewspace-931820/《数据仓库工具箱—维度建模的完全指南》是数据仓库建模方面的经典著作， 1996年第一版出版被认为是数据仓库方面具有里程碑意义的事件。作者kimballl是数据仓库方面的权威，他将多年的数据仓库建模实... 阅读全文

posted @ 2015-08-25 08:34 徐正柱- 阅读(3506) 评论(0) 推荐(1) 编辑

生成部门维度数据

摘要：1.生成部门维度表 SELECT FN_Get_SubtrDeptStrs(DEPT_KEY_PATH, DEPT_LEVELS) DEPT_KEY, FN_Get_SubtrDeptStrs(DEPT_NAME_PATH, DEPT_LEVELS) DEPT_NAME, DEPT_LEVELS D 阅读全文

posted @ 2015-08-14 17:17 徐正柱- 阅读(628) 评论(0) 推荐(0) 编辑

数据仓库主题与主题域

摘要：什么是数据仓库主题自从学习数据仓库以来，对数据仓库“面向主题”的概念始终比较模糊，理解不够深刻、透彻。昨天晚上翻开课本温习一下，仍然不能领悟其本质思想、很是困惑，后来从网上找了一些资料，细细着磨一下。1．主题的概念主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一... 阅读全文

posted @ 2015-03-04 13:13 徐正柱- 阅读(14635) 评论(1) 推荐(1) 编辑

数据仓库建设步骤

摘要：1.系统分析，确定主题确定一下几个因素： ·操作出现的频率，即业务部门每隔多长时间做一次查询分析。 ·在系统中需要保存多久的数据，是一年、两年还是五年、十年。 ·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 ·用户所能接受的响应时间是多长、是几秒钟，还是几小时。2.选择满足数据仓... 阅读全文

posted @ 2015-03-04 10:18 徐正柱- 阅读(7697) 评论(0) 推荐(1) 编辑

大数据架构和模式（五）对大数据问题应用解决方案模式并选择实现它的产品

摘要：作者: Divakar等来源: DeveloperWorks发布时间: 2015-01-29 18:22阅读: 1073 次推荐: 2 原文链接 [收藏]摘要：本文使用了一个基于场景的方法，概述了可能有助于定义大数据解决方案的解决方案模式。每个场景都从一个业务问题开始，并说明为什么需要大数据解决方案... 阅读全文

posted @ 2015-02-02 14:57 徐正柱- 阅读(582) 评论(0) 推荐(0) 编辑

大数据架构和模式（四）了解用于大数据解决方案的原子模式和复合模式

摘要：本文收藏于：http://kb.cnblogs.com/page/510982/作者: Divakar等来源: DeveloperWorks发布时间: 2015-01-29 18:21推荐: 0 原文链接 [收藏]摘要：本文中介绍的模式有助于定义大数据解决方案的参数。本文将介绍最常见的和经常发生的大... 阅读全文

posted @ 2015-02-02 14:56 徐正柱- 阅读(387) 评论(0) 推荐(0) 编辑

大数据架构和模式（三）理解大数据解决方案的架构层

摘要：本文件收藏于：http://kb.cnblogs.com/page/510980/作者: Divakar等来源: DeveloperWorks发布时间: 2015-01-29 18:21推荐: 0 原文链接 [收藏]摘要：大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件，大数据解决方案需要使用... 阅读全文

posted @ 2015-02-02 14:52 徐正柱- 阅读(386) 评论(0) 推荐(0) 编辑

大数据架构和模式（二）如何知道一个大数据解决方案是否适合您的组织

摘要：本文收藏于http://kb.cnblogs.com/page/510979/作者: Divakar等来源: DeveloperWorks发布时间: 2015-01-29 18:20阅读: 1542 次推荐: 0 原文链接 [收藏]摘要：本文介绍一种评估大数据解决方案的可行性的基于维度的方法。通过回... 阅读全文

posted @ 2015-02-02 14:49 徐正柱- 阅读(360) 评论(0) 推荐(0) 编辑

大数据架构和模式（一）大数据分类和架构简介

摘要：本文收藏于:http://kb.cnblogs.com/page/510978/作者: Divakar等来源: DeveloperWorks发布时间: 2015-01-29 18:19阅读: 3294 次推荐: 8 原文链接 [收藏]摘要：大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得... 阅读全文

posted @ 2015-02-02 14:44 徐正柱- 阅读(600) 评论(0) 推荐(0) 编辑

业务数据安全

公告

随笔分类 - 06数据仓库与建模