摘要: 上一篇开了个头,从Kimball数据仓库生命周期方法角度,列出了数据仓库搭建的核心步骤,从这一篇开始将讲述技术路径:技术架构设计和产品选择和安装。 首先先以某公司的数据仓库的总体架构图的视角,了解整个数据仓库搭建起来后结构大体的样子。 ODS层是从数据源抽取(E),经过格式的转换(T),最后加载(L 阅读全文
posted @ 2016-11-11 00:54 晨柳溪 阅读(19841) 评论(0) 推荐(2) 编辑
摘要: 虽然一直在做数据仓库开发,但是还没有从0开始搭建过数据仓库,所以就想通过学习和思考来搭建一个还不错的数据仓库。比较经典的当属Kimball生命周期方法,它为我们在数据仓库开发过程中提供了路标的作用,生命周期方法的总体结构的核心内容有 技术架构设计 产品的选择和安装 维度建模 物理设计 ETL设计和开 阅读全文
posted @ 2016-11-11 00:51 晨柳溪 阅读(4284) 评论(0) 推荐(0) 编辑
摘要: 目录 数据类型 基本数据类型 整形Int的内置方法 字符串Str的内置方法 列表(待补充) 分支结构if...else... for循环 循环控制 while循环 函数的名称与格式 参数 返回值 作用域 递归和lambda 内置函数 包 元字符 内置属性 数据类型 基本数据类 数字【整型int/lo 阅读全文
posted @ 2016-11-07 22:50 晨柳溪 阅读(2071) 评论(0) 推荐(0) 编辑
摘要: 转载于http://wenku.baidu.com/link?url=hXWQyKcbE9Y8cUqjTK4r_iCTn18UU63YRdzlCTmf2ZloY5RVFhZYRhN-7bUrgGGjwe7FkjymUUJXhQ08nbq8VgYX-bve8_Bgfjy9TpsPIhK 在Kimbal 阅读全文
posted @ 2016-11-06 19:47 晨柳溪 阅读(4144) 评论(0) 推荐(2) 编辑
摘要: 从此处转载 http://blog.sina.com.cn/s/blog_615f9dba0100f67p.html 比尔·恩门(Bill Inmon),被称为数据仓库之父,最早的数据仓库概念提出者,在数据库技术管理与数据库设计方面,拥有逾35年的经验。他是“企业信息工厂”的合作创始人与“政府信息工 阅读全文
posted @ 2016-11-06 19:19 晨柳溪 阅读(6085) 评论(1) 推荐(0) 编辑
摘要: 数据仓库中常见的模型有:范式建模,雪花模型,星型建模,事实星座模型. 星型模型 星型模型是数据集市维度建模中推荐的建模方法。星型模型是以事实表为中心,所有的维度表直接连接在事实表上,像星星一样。星型模型的特点是数据组织直观,执行效率高。因为在数据集市的建设过程中,数据经过了预处理,比如按照维度进行了 阅读全文
posted @ 2016-10-29 20:25 晨柳溪 阅读(37619) 评论(0) 推荐(2) 编辑
摘要: 结合Inmon和Kimball的集线器式和总线式的数据仓库的优点,分层为ODS【-MID】-DW-DM-OLAP/OLAM/app ODS层是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中,数据经过了一定的清洗,比如字段的统一,脏数据的去除等,但是数据的粒度是不会 阅读全文
posted @ 2016-10-29 11:06 晨柳溪 阅读(22866) 评论(2) 推荐(2) 编辑
摘要: 范式建模 Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。操作型或事务型系统的数据源,通过ETL抽取转换和加载到数据仓库的ODS层,然后通过ODS的数据建设原子数据的数据仓库EDW,EDW不是多维格式的,不方便上层应用做数据分析,所以需要通过汇总建设成多维格式的数据集市层。优势:易于维护,高度集成;劣势:结构死板,部署周期较长 范式建模应用在EDW层 一个符合第三范式的关系必须... 阅读全文
posted @ 2016-10-28 21:46 晨柳溪 阅读(19219) 评论(0) 推荐(0) 编辑
摘要: 数据仓库有很多类型的架构方式,按照发展的历程上,主要有如下几类标志性。 独立的数据集市架构。 在最早期的数据仓库建设中,大多是以部门为单位搭建数据仓库,也就是数据集市,供整个部门使用。这样能够很快的构建好数据仓库,但是缺点是很容易产生不同部门因数据计算口径不同而导致的数据产出结果不一致。当然对于小公司来讲,构建一个公司级的数据集市也是能够满足需求的。 联邦式的数据仓库架构。不同的部门构建出不同... 阅读全文
posted @ 2016-10-28 21:20 晨柳溪 阅读(2017) 评论(0) 推荐(0) 编辑
摘要: 数据库是最常听到的名词之一了,但是当提到数据仓库的时候,就会疑问,数据仓库是数据库吗? 如果不是,数据仓库是什么,用来干什么的呢? 平时遇到这个问题一般还真是不好简单明了的回答,因为也的确不是一两句话说的清的。那么数据仓库到底是什么呢,跟数据库有什么区别呢? 数据仓库是什么呢? 数据仓库是面向主题的 阅读全文
posted @ 2016-10-28 16:38 晨柳溪 阅读(1803) 评论(0) 推荐(1) 编辑