摘要：
本文链接：https://blog.csdn.net/sjkldjflakj/article/details/52016235决策树 先说下决策树吧，具体的算法什么的就不讲了，很基本的东西，网上有很多。主要总结下三种特征选择的优缺点。 ID3 基于信息增益做特征选择，所以很容易受到某一特征特征值数量 阅读全文
摘要：
(1)k-mean聚类 k-mean聚类比较容易理解就是一个计算距离，找中心点，计算距离，找中心点反复迭代的过程， 给定样本集D={x1,x2,...,xm},k均值算法针对聚类所得簇划分C={C1,C2,...,Ck}最小化平方误差 μi表示簇Ci的均值向量，在一定程度上刻画了簇内样本围绕均值向量 阅读全文
摘要：
特征选择方法初识： 1、为什么要做特征选择在有限的样本数目下，用大量的特征来设计分类器计算开销太大而且分类性能差。2、特征选择的确切含义将高维空间的样本通过映射或者是变换的方式转换到低维空间，达到降维的目的，然后通过特征选取删选掉冗余和不相关的特征来进一步降维。3、特征选取的原则获取尽可能小的特征子 阅读全文
摘要：
聚类度量包括性能度量和距离计算， 性能度量 对数据集D={x1,x2,...,xm},假定通过聚类给出的策划为C={C1,C2,...,Ck},参考模型给出的簇划分为C‘={C'1,C'2,...C'k}，相应的λ和λ‘分别表示C和C’对应的簇标记向量，将样本两两配对考虑， 由于每一个样本中仅能出现 阅读全文
摘要：
数据降维的目的:数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。 数据降维的好处：降维可以方便数据可视化+数据分析+数据压缩+数据提取等。 降维方法 __ 属性选择：过滤法；包装法；嵌入法； |_ 映射方法 _线性映射方法：PCA、LDA、 阅读全文
摘要：
一、引言 本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中，我们利用训练集直接对条件概率p(y|x;θ)建模，例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模（其中g(z)是sigmoid 阅读全文
摘要：
转自http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html k-mean算法与EM K-mean 阅读全文
摘要：
转自http://blog.csdn.net/zouxy09/article/details/8537620/ 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的 阅读全文
摘要：
转自http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020209.html http://www.cnblogs.com/jerrylead/archive/2011/04/18/2020216.html 几个特别有用 的链接： 更加深入理解 阅读全文
摘要：
学习的过程中，关于特征选择和降维都是防止数据过拟合的有效手段，但是两者又有本质上的区别。 降维 降维本质上是从一个维度空间映射到另一个维度空间，特征的多少别没有减少，当然在映射的过程中特征值也会相应的变化。 举个例子，现在的特征是1000维，我们想要把它降到500维。降维的过程就是找个一个从1000 阅读全文