生成模型和判别模型的区别
判别模型
判别模型由数据直接学习决策函数或者条件概率分布
作为预测的模型。它关心的是对给定的输入X，应该预测什么样的输出Y。典型的判别模型包括：K近邻法、感知机、决策树、逻辑斯谛回归、最大熵模型、支持向量机、提升方法、条件随机场。
判别方法的特点：
- 直接学习的是条件概率
，直接面对预测，往往学习的准确率很高；
- 由于直接学习
，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
生成模型
生成模型由数据学习联合概率分布，然后求出条件概率分布
作为预测的模型：
因为模型表示了给定输入X产生输出Y的生成关系，所以被称为生成模型。典型的生成模型有：朴素贝叶斯、隐马尔科夫模型
生成方法的特点：
- 生成方法可以还原出联合概率分布
，而判别方法不能；
- 生成方法的学习收敛速度快，即当样本容量增加时，学到的模型可以很快收敛于真实模型；
- 当存在隐变量时，仍可以用生成方法学习，此时判别方法不能用。
参考：李航《统计学习方法》
