转：机器学习“判别模型”和“生成模型”有什么区别？

李宏毅课程 classification 1，视频的19:47处开始有讲为什么叫生成模型，生成模型一般都需要先假设训练数据服从某种概率分布。

李宏毅课程 logistic regression， 视频的42:07处有讲判别模型和生成模型的区别，另外，视频的31:24处也有到，可参考视频前面的内容加以理解。视频的46:10处有讲到大部分神经网络是判别模型，因为神经网络不需要提前假设训练数据服从某种概率分布，而是直接取找最优的权重值。

知乎：机器学习“判定模型”和“生成模型”有什么区别？

 

笔记

生成模型：给定N个训练样本，假设这N个样本是从一个概率分布(比如高斯分布)中采样出来的，我们可以用这N个样本来估算这个概率分布的参数(比如高斯分布的均值和协方差)，知道了这个概率分布之后，就可以生成样本了，所以叫做生成模型。从N个训练样本中推测出训练数据概率分布的参数，常用的方法是最大似然法(Maximum Likelihood)。具体可参考李宏毅课程 classification 1，视频的19:47处开始。

 

===========================

这段论述摘自：A survey on semi-supervised learning. Engelen et al. 2018. 翻译过来就是：判别模型只关注把每个样本都正确分类，它学习到的是一个分类函数，而不去学习训练数据背后的整个分布；而生成模型则去学习训练数据所服从的概率分布，知道这些概率分布之后，就可以生成这些训练数据了。