生成式分类器对比条件式分类器

朴素贝叶斯分类器和最大熵分类器之间的一个重要差异是他们可以被用来回答问题的类型。朴素贝叶斯分类器是一个生成式分类器的例子，建立一个模型，预测P(input, label)对的联合概率。因此，生成式模型可以用来回答下列问题：

1.一个给定输入的最可能的标签是什么？

2.对于一个给定输入，一个给定标签有多大可能性

3.最有可能的输入值是什么？

4.一个给定输入值的可能性有多大？

5.一个给定输入具有一个给定标签的可能性有多大？

6.对于一个可能有两个值中的一个值（我们不知道是哪个）的输入，最可能的标签是什么？

另一方面，最大熵分类器是条件式分类器的一个例子。条件式分类器建立模型预测P(label|input)——一个给定输入值的标签的概率。因此，条件式模型仍然可以被用来回答问题1和2。然而，条件式模型不能用来回答剩下的问题3-6。

生成式模型不仅可以从联合概率P(input, label)计算出条件概率P(label|input)，回答1和2问题，还可以回答3-6问题。然而，这种额外的能力意味着它也有更多的自由参数需要学习。因此生成式模型回答问题1和2可能不会与条件式模型一样好，因为条件式模型需要训练的参数较少。