生成模型和判别模型

监督学习方法分为生成方法和判别方法。

生成方法：模型表示给定输入X产生输出Y的生成关系

-生成模型：由数据学习联合概率分布P(X,Y)，然后求条件概率分布P(Y|X)，将其作为预测的模型

-典型的生成模型：朴素贝叶斯法、马尔可夫模型

-特点：可还原出联合概率分布；学习收敛速度更快；可以处理有隐变量的情况

 

判别方法：对给定的输入X，应该预测什么样的输出Y，直面预测

-判别模型：由数据直接学习决策函数 f(X)或者条件概率分布P(Y|X)，将其作为预测的模型

-典型的判别模型：k近邻法（KNN）、感知机、决策树（DT）、逻辑回归（LR）、最大熵、支持向量机（SVM）、提升方法、条件随机场等

-特点：无法还原出联合概率分布；准确率更高；由于直接学习，可以对数据进行各种程度上的抽象、定义特征并使用特征，可简化学习问题