生成模型和判别模型

监督学习的任务就是学习一个模型，应用这个模型，对给定的输入预测相应的输出。

这个模型一般形式为决策函数：

\[Y = f\left( X \right)\]

或者条件概率分布：

\[P\left( {Y|X} \right)\]

生成方法

生成方法先学习联合概率分布P(X,Y)，然后求出条件概率P(Y|X)作为预测的模型，即生成模型：

\[P\left( {Y|X} \right) = \frac{{P\left( {X,Y} \right)}}{{P\left( X \right)}}\]

典型的生成模型：朴素贝叶斯法、隐马尔科夫模型

判别方法

判别方法由数据直接学习决策函数f(X)或条件概率分布P(X,Y)