随笔分类 - Machine Learning
摘要：支持向量机从线性可分情况下的最优分类面发展而来。思想分类：寻找类间的分类平面，使得类到该分类平面的距离尽可能大，即分类平面两侧的空白区域尽可能大。映射：通常样本数据线性不可分，可以应用固定的非线性映射（核函数）将数据映射到高维空间中，在高维空间中的线性分类等价于原始空间中的非线性分类；在高维空间中计...
阅读全文
摘要：集成学习通过从大量的特征中挑出最优的特征，并将其转化为对应的弱分类器进行分类使用，从而达到对目标进行分类的目的。核心思想它是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些若分类器集合起来，构成一个更强的最终分类器（强分类器）。其算法本身是通过改变数据分布来实现的，...
阅读全文
摘要：准则采用一种分类形式后，就要采用准则来衡量分类的效果，最好的结果一般出现在准则函数的极值点上，因此将分类器的设计问题转化为求准则函数极值问题，即求准则函数的参数，如线性分类器中的权值向量。分类器设计准则：FIsher准则、感知机准则、最小二乘（最小均方误差）准则Fisher准则Fisher线性判别分...
阅读全文
摘要：参考文献：http://blog.csdn.net/zouxy09/article/details/8537620极大似然估计已知样本满足某种概率分布，但是其中具体的参数不清楚，极大似然估计估计就是把待估参数看做是确定性的量，只是其取值未知。最佳估计就是使得产生当前样本的概率最大下的参数值。贝叶斯估...
阅读全文
摘要：参考文献：http://blog.csdn.net/zouxy09/article/details/8195017生成方法由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立样本的联合概率概率...
阅读全文
摘要：转自： http://zipperary.com/2013/10/15/an-introduction-to-hmm/ http://www.52nlp.cn/hmm%E7%9B%B8%E5%85%B3%E6%96%87%E7%AB%A0%E7%B4%A2%E5%BC%95 总结（Summary）
阅读全文
摘要：参考资料：http://www.cnblogs.com/subconscious/p/5058741.html 从函数上来看，神经网络是回归方程的级联叠加，用来逼近目标函数的，本质是一种模拟特征与目标之间的真实关系函数的模型 一、结构 一个有向拓扑，每层有若干节点，节点间有边，边上有权值。 二、组成
阅读全文
摘要：cnblog的LeftNotEasy(解释的易懂)，pluskid的博文(专业有配图)。
阅读全文
摘要：参考资料：http://blog.csdn.net/zlbflying/article/details/48134955http://www.tuicool.com/articles/MRbee2ihttp://www.tuicool.com/topics/11020131线性回归求价值函数最小，即...
阅读全文
摘要：文章 从机器学习谈起的阅读小记。 机器学习中的通用近似定理（universal approximation theorem）：一个包含足够多层隐含层神经元的前馈网络，能以任意精度逼近任意预定的连续函数。即若待解的问题可以建模为连续函数，则一定可以用神经网络（即多项式的线性组合）来逼近该函数。 这点与
阅读全文