数据挖掘笔记(3)-从数据中学习
从数据中学习
每个预测学习过程都包括两个主要阶段:(1)从已知样本中学习或估计系统中未知的相关性;(2)用估计得出的相关性为系统将来的输入值预测新的输出。
即归纳和演绎
转导推理:只为训练数据中几个重要的点估计未知函数的输出,而不是建立全局模型。此方法的重要应用是挖掘关联规则。
4.1 学习机器
机器学习结合了人工智能和统计学,一个基本任务是归纳机器学习,它从样本集中获得一般结果,用不同的技术和模型来定型。
4.2 统计学习原理(SLT)
4.3 学习方法的类型
有两种常用的归纳学习方法,叫做:(1)有指导学习(或有老师学习);(2)无指导学习
4.4 常见的学习任务
数据挖掘过程成功的基础是数据的预处理和数据规约方法。下面列举其中的一些技术,来展示在该过程的开始阶段,数据挖掘的设计者有多少方法可以选择:
缩放、标准化、编码、异常点检测和去除、特征选择和构建、数据清洁和净化、数据平整、丢失数据的清以及通过取样进行案例规约。
分类如下:
(1)统计方法,典型技术是贝叶斯推理、对数回归、方差分析(ANOVA)和对数线性模型。
(2)聚类分析,常用技术是分裂算法、凝聚算法、划分聚类和增量聚类。
(3)决策树和决策规则主要是为人工智能所开发的一组归纳学习方法。典型的技术包括:CLS方法、ID3算法、C4.5算及其对应的修建算法。
(4)关联规则提出了一个较新的规则集,包括的算法有购物篮分析、先验算法和WWW路径遍历模式。
(5)人工神经网络,常见的例子是带有反向传播学习和Kohonen网络(自组织特征映射模型)的多层感知机。
(6)遗传算法是一种对解决难优化问题特别有用的方法,常常是数据挖掘算法的一部分。
(7)模糊推理系统基于模糊集和模糊逻辑理论。模糊建模和模糊决策在数据挖掘中非常普遍。
(8)N维可视化方法作为一种标准的数据挖掘方法,虽然使用其技术和工具可以发现有用的信息,但在文献中常常被漏掉。典型的数据挖掘可视化技术是几何
学、基于图标、像素导向和分层技术。
上面列出的数据挖掘和知识发现技术并不完整,其顺序也不代表这些方法在应用上的优先次序。迭代和交互性是这些数据挖掘技术的基本特征。同样,如果读者
有较多的数据挖掘应用经验,就会理解不依靠单个方法的重要性。在数据挖掘这个阶段,标准方法是平行应用几个能完成同一个归纳学习任务的技术。在这种情
况下,对于数据挖掘过程中的每一次迭代,必须估计和比较不同技术的结果。
4.5 支持向量机
支持向量机系统(SVM),其构想包含SRM原则。SVM用于解决分类问题,但最近也开始被应用于回归(例如,预测连续性变量)问题领域中。
支持向量分类(SVC)、支持向量回归(SVR)
SVM是一种监督学习算法,它从有标号训练数据集中建立学习函数。
SVM的分类函数基于决策平面的概念,决策平面定义了样本类之间的决策边界。
证明选择的分类器是最佳的选择,主要思想是:决策边界应该尽量远离两类数据点。
SVM的主要优势进行总结:首先,与其他一些技术不同,在参数数量较少时,训练过程相对容易,最终形成的模型不会是局部最优的。同时,针对高维数
据,SVM方法扩展性相对较好,扩展性体现了分类其复杂性与精度之间的折中。非传统的数据结构(如字符串和树)可以作为SVM的输入样本,该技术不仅能够
应用于分类问题,而且可以应用于预测。SVM的缺点包括计算效率不高并且需要通过实验方法选择“良好的”核函数。