判别式模型与生成式模型简单理解

判别式模型

该模型主要对p(y|x)建模,通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常,判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的,而且难以被扩展成无监督的。

  常见的判别式模型有:

    Logistic regression

    Linear discriminant analysis

    Support vector machines

    Boosting

    Conditional random fields

    Linear regression

    Neural networks

生成式模型

该模型对观察序列的联合概率分布p(x,y)建模,在获取联合概率分布之后,可以通过贝叶斯公式得到条件概率分布。生成式模型所带的信息要比判别式模型更丰富。除此之外,生成式模型较为容易的实现增量学习。

    常见的生成式模型有:

      Gaussian mixture model and other types of mixture model

    Hidden Markov model

    Naive Bayes

    AODE

    Latent Dirichlet allocation

    Restricted Boltzmann Machine

    由上可知,判别模型与生成模型的最重要的不同是,训练时的目标不同,判别模型主要优化条件概率分布,使得x,y更加对应,在分类中就是更可分。而生成模型主要是优化训练数据的联合分布概率。而同时,生成模型可以通过贝叶斯得到判别模型,但判别模型无法得到生成模型。

转自:http://www.cnblogs.com/liliu/archive/2010/11/21/1882984.html

posted on 2011-11-16 15:32  COS  阅读(305)  评论(1编辑  收藏  举报