随笔分类 - 数据仓库
摘要：企业应用集成 面向服务的体系结构 (SOA) 目前应该是一个很受欢迎的名词，中间件技术人员几乎到了言必称SOA的程度，数据集成当然也不例外，在Oracle openworld2008大会上，就推出了一堆数据集成的专场演讲，其中和SOA结合最紧密的就是实时数据集成 real time data int
阅读全文
摘要：博客分类： 数据挖掘 数据挖掘 一、维表、事实表 （1）维是透视或关于一个组织想要记录的实体，描述试题的元信息。如：item：item 的维表可以包含属性item_name, branch, 和type。维表可以由用户或专家设定，或者根据数据分布自动产生和调整（即从事实表中抽取维度表） （2）事实是
阅读全文
摘要：Kettle Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle是一款国外开源的ETL工具，纯java
阅读全文
摘要：数据仓库中广泛采用的数据库设计模型有两种：关系型和多维型。普遍认为在数据仓库的设计方法中关系模型是“Inmon”方法而多维模型是“Kimball”方法。 先来看下关系模型，关系型数据以一种称为“标准化”的形式存在。数据标准化是指数据库设计会使数据分解成非常低的粒度级，标准化数据以一种孤立模式 存在，
阅读全文
摘要：CDC变更数据捕获 (2013-03-20 15:25:52) CDC变更数据捕获 分类： SQL SQL Server中记录数据变更的四个方法：触发器、Output子句、变更数据捕获（Change Data Capture ）功能、同步更改跟踪。 这里记录下cdc： 变更数据捕获可记录应用于 SQ
阅读全文
摘要：谈谈文件增量同步算法:RSYNC和CDC 分类： 数据同步 增量备份 分类： 数据同步 增量备份 版权声明：本文为博主原创文章，未经博主允许不得转载。 版权声明：本文为博主原创文章，未经博主允许不得转载。 最近在研究文件的增量同步问题，着重研究了文件差异编码部分，因为这个其实是文件同步的核心。目前应
阅读全文
摘要：ODI KM二次开发手册 分类： ODI（16） 分类： ODI（16） 目录(?)[+] 目录(?)[+] 1 引言 1.1 编写目的 本手册面向的读者对象为具备数据集成业务知识及对ODI操作了解的开发人员,作为其完成基于ODI基础上KM二次开发的参考手册。详细介绍了如何在ODI上进行KM二次开发
阅读全文
摘要：ETL中的数据增量抽取机制 ( ETL中的数据增量抽取机制 增量抽取是数据仓库ETL(extraction，transformation，loading，数据的抽取、转换和装载)实施过程中需要重点考虑的问 题。在ETL过程中，增量更新的效率和可行性是决定ETL实施成败的关键问题之一，ETL中的增量更
阅读全文
