数据--》数据仓库--》数据挖掘-》模型评估-》知识

数据分析

通过数据分析可以发现最有价值客户,是组合销售更有效率,留住那些最有价值客户,用更小的成本发现欺诈现象。通信业手机数据分析目的是为了方便快捷地管理用户。但数据中包含了很多关于各个变量之间关系的信息,这些信息可被用来改进相关领域的决策。

基础在于数据库的数据的处理,数据处理有两种类型

1、操作型(联机事务处理OLTP(on-line transaction processing,与业务活动关联)

也称为事务处理,例如我们对数据的增删改查,为特定的应用服务。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。关心的是响应时间、数据的安全性和完整性。

  • 性能特性:数据存取操作频率高,而每次操作处理时间短
  • 数据集成:对整个企业范围内的集成应用考虑少

2、分析型(联机分析处理OLAP,On-Line Analytical Processing,与决策活动关联)

需要大量访问历史数据库,支持复杂查询,去除细节数据,并常使用外部数据来源。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

  • 性能特性:需要运行时间长,消耗系统资源多
  • 数据集成:全面,企业内部数据,企业外部数据,竞争对手的数据等等

在操作型环境中直接构建分析型应用是一种失败的尝试,需要将分析型处理数据和操作型处理数据分离。

数据仓库

为了满足管理人员的决策分析需求,需要在数据库基础上产生适应决策分析的数据环境,即数据敞开。数据仓库提供联机分析处理(OLAP,On- Line Analytical Processing)工具,具有汇总、合并和聚集功能,以及从不同角度观察信息的能力。尽管OLAP工具支持多维分析和决策,对于深层次的分析,如数据 分类、聚类和数据随时间变化的特征仍然需要其他分析工具。

数据仓库是作为DSS服务基础的分析DB,用来存放大量的只读数据,为制定决策提供所需信息。

数据敞开是与操作型系统相分离的、基于标准企业模型集成的,带有时间属性的(即与企业定义的时间去端相关)、面向主题及不可更新的数据集合。

定义:数据仓库就是一个用以更好地支持企业或组织的决策分析处理,面向主题(subject-oriented),集成的(integrated),不可更新的,随时间不断变化(time-variant)的数据集合。

数据仓库支持OLAP、数据挖掘和决策分析。OLAP从数据仓库中的综合数据出发,提供面向分析的多维模型,并使用多维分析的方法从多个角度、多个层次对多维数据进行分析,使决策者能够以更加自然的方式来分析数据。

数据仓库是一种语义上一致的数据存储,他充当决策支持数据模型的物理实现,并存放企业战略决策所需信息。数据仓库也常被看作一种体现结构,通过将异种数据源中的数据集成在一起而构造,支持结构化和专门的查询、分析报告和决策制定。

早期数据仓库是C/S,近年从功能上划分为若干个分布式对象,这些分布式对象不仅可直接用于建立数据仓库,还可以在应用程序中向用户提供调用接口。

相关产品:IBM DB2;微软:在SQL Server 7.0和SQL Server 2000集成了Plato的OLAP服务器;Sybase:Warehouse Studio;Oracle:Oracle Warehouse Builder,Oracle Express,DataMart Suit

数据挖掘

数据挖掘Data mining也就是KDD(Knowledge Discovery in Databases知识发现的分析过程)。

数据挖掘工具进行数据分析可以发现重要的数据模式,对商务决策,知识库、科学和医学研究作为巨大贡献。数据挖掘以数据敞开和多维数据库中的数据为基 础,发现数据中的现在模式和进行预测。因此,数据敞开的功能是支持管理层进行科学决策。数据挖掘就是从杂乱无章的数据中找出规律,将数据转为信息的一个过 程。要具有普遍意义,需从海量数据来挖掘。

数据挖掘步骤:

  1. 数据的选择,数据的净化,消除噪声或不一致数据,多种数据源组合在一起
  2. 数据选择与变换:从数据库中建设与分析任务相关的数据,经数据变换或统一成为适合挖掘的形式,如通过汇总或聚集操作。
  3. 数据挖掘阶段:基本步骤,使用智能方法提取数据模式
  4. 时序模式(例如在买记过打印机的人中,半年后80%再购买新的硒鼓),分类、关联分析(购买面包的顾客中有90%的人同时购买了牛奶),聚类。
  5. 模式评估:根据某种兴趣度度量,识别表示知识的真正有趣的模式。
  6. 知识表示:使用可视化和知识表示技术,向用户提供挖掘的知识。

来源:

  1. http://www.docin.com/p-3395432.html
posted on 2012-06-14 22:27  风生水起  阅读(1117)  评论(0编辑  收藏  举报