F_G

许多问题需要说清楚就可以&&走永远比跑来的重要

导航

生成模型和判别模型

生成模型和判别模型

在学习machine learning中遇到了多种分类回归算,有的说是生成算法,有的说是判别算法,当时有点晕,现在总结如下。

实际上两者都是机器学习当中模型建立的两种方式:generative approach 和 discriminative approach。前者一般需要更大的数据量,如果数据量不是很大,可能最终建立的模型并不具有很大的说服力。

我们假设$X$为特征,$Y$为标签。

一、生成模型                                                                                                                                                        

是要学习总体的数据的量和概率分布$P(X,Y)$,predict当中使用$P(Y|X)=\frac{P(X,Y)}{P(X)}$,从这里可以看出了联合概率分布还需要$P(X)$

example: 朴素贝叶斯模型,HMM

特点:需要大量的训练数据;收敛速度更快,如果数据量很大时;如果存在隐变量,类似HMM当中,生成模型仍然使用

 

二、判别模型                                                                                                                                                       

通过各种策略直接学习条件概率分布$P(Y|X)$,或者判决函数$F(X)$

example: SVM,CRF,神经网络,感知机,决策树,随机森林,K近邻等等

特点:在数据量较小的情况是仍然使用,尤其SVM实际的训练只需要所谓的支持向量样本点即可;这种方法往往学习的准确率更高

参考

[1] http://www.cnblogs.com/kaituorensheng/p/3379170.html

posted on 2015-06-25 16:21  F_G  阅读(199)  评论(0编辑  收藏  举报