机器学习基本范式的理解

    人工智能的研究是从以“推理”为重点到以“知识”为重点，再到以“学习”为重点，呈现出一条自然、清晰的脉络。而发展到“学习”阶段时，各种流派百花齐放，缤纷多彩。

    从一种方面看，机器学习可以分为三大流派：符号推理、连结主义、统计学习。符号推理就是从最早人工智能的“推理”一派继承而来的，比如“专家系统”、决策树。

连结主义受人脑结构解剖启发，采取人工神经网路的方法进行学习。而统计学派，随着人类进入数据爆炸的时代，加上计算能力的飞速发展，而呈现出更旺盛的生命力。

    其实三种分类界限不没有那么严格，例如，统计学习中的“感知机”就是最简单的神经网络；而“决策树"便是专家系统的理论基础。

    从另一种角度看，机器学习可以这样划分：监督学习、无监督学习、半监督学习、增强学习。最近大火的GAN就属于增强学习。

    监督学习又可以这样划分：分类、回归、标注等。

    以分类为例，根据求解形式的不同，分为概率和非概率模型；概率模型指：求出条件概率分布P(Y|X),而非概率模型指求出决策函数Y=F(X).前者表示输入条件下的输出的概览模型，而后者表示非概率模型。这种分类也不是绝对的，例如对于逻辑回归和最大熵模型、条件随机场，既可以看作概率的，也可以看作非概率的。

    另一种更常被提及的分类方法是生成方法和判别方法。判别方法指直接学习条件概率分布P(Y|X)或决策函数Y=F(X)。对于一个输入，我们只关心它所属于的类别，即输出，而不管输入和输出两者是如何分布的。注意，对于非概率方法，它一定属于判别方法。

    而生成方法，指的是要首先求出输入输出两者的联合分布P(X,Y)，进而求出条件概率分布P(Y|X)， 也就是先求出联合分布，再走概率分布的路子；实际操作中，通常用贝叶斯公式，将联合分布表示为先验和似然分布的乘积。注意，对于概率分布中，只有当求出联合分布再求条件分布的才属于生成模型，直接求条件概率分布的不属于生成方法。

   判别方法的数学推导，可参考这篇文章：https://www.zhihu.com/question/20446337。