生成式学习算法（一）之----概论

到目前为止，我们主要讨论给定\(x\)对\(y\)的条件分布\(p(y | x ; \theta)\)进行建模的学习算法。例如，对于逻辑斯蒂克（logistic）回归模型，这个条件概率为\(h_{\theta}(x)=sigmoid\left(\theta^{T} x\right)\)。对于二分类问题，logistic回归和感知机算法通过找一条直线，也就是决策边界，尽可能把这两个类分开来。像这种直接学习条件分布\(p(y | x)\)（logistic回归模型），或者从输入空间\(\mathcal{X}\)到输出映射的算法（感知机算法）叫做判别式学习算法（discriminative learning algorithms）。

现在我们将讨论一种不同类型的学习算法。比如说现有二分类问题，区分大象和狗。则这种算法先看大象长什么样，然后对于大象长什么样建一个模型，然后再看狗长什么样，对于狗长什么样再建立一个模型。最后来了一个新的动物，算法就把这个动物和大象的模型和狗的模型分别匹配，看这个新动物更像更像哪种动物。

像这种直接对\(p(x | y)\)和\(p(y)\)（类先验，class priors）进行建模的算法叫做生成式学习算法（generative learning algorithms）。例如，如果 $ y=0$ 代表一个样例是是狗，或者大象$ y=1$，则 \(p(x | y=0 )\) 对狗的特征分布进行建模，而 \(p(x | y=1)\) 对大象的特征分布进行建模。有了这两个概率，我们就可以通过下面的贝叶斯法则（Bayes rule）推出给定\(x\)，\(y\)的后验概率分布（posterior distribution），

\[\begin{equation} p(y | x)=\frac{p(x | y) p(y)}{p(x)} \end{equation} \]

这里分母可以表示成\(p(x)=p(x | y=1)p( y=1)+p(x | y=0)p( y=0)\)。也就是说可以表达成我们已经学到的\(p(x | y)\) 和 \(p(y)\)的形式。事实上，如果我们要通过计算条件概率去做预测，则我们不需要计算分母，这是因为，

\[\begin{equation} \begin{aligned} \arg \max _{y} p(y | x) &=\arg \max _{y} \frac{p(x | y) p(y)}{p(x)} \\ &=\arg \max _{y} p(x | y) p(y) \end{aligned} \end{equation} \]

https://www.pornhub.com/view_video.php?viewkey=ph5d349aa97e027 监禁过程有点漫长，学日语