摘要：
数据采集 数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些ETL操作。 数据源种类可以有多种： 日志：所占份额最大，存储在备份服务器上业务数据库(RDBMS)：如Mysql、Oracle来自HTTP/FTP的数据：合作伙伴提供的接口其他数据源：如Excel等需要手工 阅读全文
摘要：
1. 安装oracle客户端 到oracle官网下载instantclient basic包，版本11，解压缩到C:\ProgramFile\instantclient，无需安装。 配置环境变量： NLS_lANG=SIMPLIFIED CHINESE_CHINA.ZHS16GBK (字符集配置) 阅读全文
摘要：
游标的概念 游标相当于一个内存工作区，由系统或用户以变量的形式定义。 游标的作用就是用于临时存储从数据库中提取的数据块。 使用游标时，系统把数据从存放在磁盘的表中调到计算机内存中进行处理，最后将处理结果显示出来或最终写回数据库，达到数据处理的速度提高的目的（频繁的磁盘数据交换会降低效率）。 游标的分 阅读全文
摘要：
维度建模的基本概念 维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法， 维度建模是一种将数据结构化的逻辑设计方法，它将客观世界划分为度量和上下文。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度 阅读全文
摘要：
数据集市(data mart) 起源：数据仓库规模大、周期长，一些规模比较小的企业用户难以承担。因此，作为快速解决企业当前存在的实际问题的一种有效方法，独立型数据集市成为一种既成事实。独立型数据集市是为满足特定用户（一般是部门级别的）的需求而建立的一种分析型环境，它能够快速地解决某些具体的问题，而且 阅读全文
摘要：
核心组件 数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。如下图所示： 1. 业务系统 业务系统包含各种源数据库，这些源数据库既为业务系统提供数据支撑，同时也作为数据仓库的数据源(注：除了业务系统，数据仓库也可从其他外部数据源获取数据)； 2. ETL ETL分别代表：提取extr 阅读全文
摘要：
数据仓库定义 数据仓库不是数据的简单堆积，而是从大量的事务型数据库中抽取数据，并将其清理、转换为新的存储格式，即为决策目标把数据聚合在一种特殊的格式中。 数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non- 阅读全文
摘要：
数据库的"分家" 随着经典的RDBMS，如Oracle，MySQL，SQL Server等被成功推向市场，为社会信息化的发展做出了重大贡献。并且随着数据库使用范围的不断扩大，它被逐步划分为两大基本类型： 1. 操作型数据库 主要用于业务支撑。一个公司往往会使用并维护若干个数据库，这些数据库保存着公司 阅读全文
摘要：
前言 虽说数据库系统的具体实现因业务环境，RDBMS等因素而异，但总体开发流程，以及开发过程中所涉及到的一些问题，也具有不少统一的套路、标准。 本文主要讨论数据库系统实现过程中的重点环节、基本开发流程、数据库管理以及数据质量工程等话题。 参照完整性约束对更新删除操作的影响 关系设计的目的就是为了减少 阅读全文
摘要：
SQL命令综述 总的来说，SQL语法可以划分为几大块： 1. 数据定义语言DDL：用于具体实现关系，以及关系附带的一些结构，如索引等； 2. 数据查询语言DML：用于操作数据库，包括增删改查； 3. 数据控制语言DCL：用来帮助实现数据库的存取控制； 4. 事务控制语言TCL：用于数据库中的事务管理 阅读全文