【数据挖掘导论】——绪论
数据挖掘导论读书笔记之绪论
数据挖掘的前提：数据收集和数据存储技术的高速进步。
数据挖掘是一种技术，它将传统的数据分析方法与处理大量数据的复杂算法相结合。为探查和分析新的数据类型以及用新方法分析就有数据类型提供了令人振奋的机会。
数据挖掘是在大型数据存储库中。自己主动的发现实用信息的过程。
数据挖掘与知识发现
数据挖掘是数据库中知识发现必不可少的一部分（knowledge deiscovery in database）KDD,KDD是将未加工的数据转换为实用信息的整个过程。
输入数据：输入各种形式存储，而且能够驻留在几种的数据存储库中，活分布在多个网站上。
数据预处理：将未加工的输入数据转换成适合分析的形式。
包含：融合来自多个数据源的数据。清洗数据，以及消除噪声和反复的观測值，选择与当前数据挖掘任务相关的记录和特征。是整个知识发现过程中最费力，耗时的步骤。
后处理：将数据挖掘的结果所揭示的规律结合商业活动管理工具，从而开展或者測试有效的商业活动。
使那些有效。实用的结果集成到决策支持系统中。
数据挖掘须要解决的问题
可伸缩
因为数据产生和收集技术的进步。大数据越来越普遍。假设数据挖掘算法要处理这些海量数据集，算法必须是可伸缩的（scalabe）。使用抽样技术或者开发并行和分布算法来提高可伸缩性。
高维性
如今数据一般是具有成千上百属性的数据集。
具有时间或者空间分量的数据集也常常具有非常高的维度。
为底维数据开发的传统的数据分析技术通常不能非常优点理高维度数据。此外，对于某些数据分析算法，随着维度（特征数）的添加，计算复杂性迅速添加
异种数据和复杂数据
传统的数据分析方法仅仅处理包括同样类型属性的数据集，或者是连续的，或者是分类的。
随着数据挖掘在商务，科学以及其它领域的作用越来越大。越来越须要处理异种属性的技术。如：具有序列和三维结构的DNA数据等。为了挖掘这样的复杂对象而开发的技术应当考虑数据间的联系。如：时间和空间的自相关性。图的连通性等
数据的全部权与分布
有时，须要分析的数据并不是存放在一个网站或者归属一个机构，二十地理上分布属于多个机构。这就须要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包含：怎样减少运行分布式计算所须要的通信量。怎样有效的统一从多个资源得到的数据挖掘结果。怎样处理数据安全性等
非传统的分析
传统的统计方法基于一种如果—检验的模式，即提出一种如果，然后设计实验来收集数据，然后针对如果分析数据。但这一方法效率不高。因此须要自己主动的产生和评估如果。
此外数据挖掘所分析的数据通常不是精心涉及的实验结果，而是数据的时机行样本（opportunistic sample），不是随机样本(random sample)。
数据挖掘的起源
为了迎战上述的挑战，数据挖掘利用了例如以下领域的思想：
- 统计学的抽样，预计，如果检验
- 人工智能，模式识别。机器学习的搜索算法，建模技术和学习理论
- 最优化
- 进化计算
- 信息论
- 信号处理
- 可视化
- 信息检索
- 数据库系统
- 高性能并行计算技术
- 分布式技术
数据挖掘任务
通常分为两大类：
预測任务：依据其它属性的值。预測特定属性的值。被预測的属性称目标变量（target variable）活因变量（dependent variable）。
用来做预測的属性称为说明变量（explanatory variable）或者自变量（independent variable）
描写叙述任务：导出概括数据中潜在联系的模式（相关，趋势。聚类，轨迹和异常），本质上。描写叙述性数据挖掘任务一般是探查性的。须要做后处理技术验证和解释结果
预測建模（predictive modeling）涉及以说明变量函数的方式为目标变量建立模型。
有两类预測建模任务：分类（classification）用于预測离散的目标变量。回归（regression）用于预測连续的目标变量。
如：预測web用户是否网购是分类，由于该目标变量是二值的。预測某股票的未来价格是回归的。由于价格具有连续值属性。两项任务都是训练一个模型，是目标变量预測值与实际值之间的误差达到最小。
关联分析（association analysis）用来发现描写叙述数据中强关联特征的模型。
所发现的模式通经常使用蕴含跪着或者特征子集的形式表示。因为搜索通奸是指数规模，关联分析的目标是以有效的方式提取最有趣的模式。
聚类分析（cluster analysis）旨在发现紧密相关的观測值组群。使得与属于不同簇的观測值相比，属于同一簇的观測值相互之间尽可能类似。
聚类可用来对相关的顾客分组，找出显著影响地球气候的海洋区域等。
异常检測（anomaly detection）的任务是识别其特征显著不同于其它数据的观測值。这种观測值称为异常点（anomaly）或离群点（outlier）异常检測算法的目标是发现真正的异常点。而避免错误地将正常的对象标注为异常点。换言之。好的异常检測器必须具有高的检測率和底的误报率。应用包含：检測网络攻击，欺诈等
