Parametric and Non-parametric Algorithms

即参数化算法和非参数化算法。

参数化机器学习算法

可以大大简化学习过程，也可以限制可以学到的东西，将函数简化为已知形式的算法称为参数化机器学习算法。算法包括两个步骤:

1. 为函数选择一个form。
2. 从训练数据中学习函数的系数。

线性回归和逻辑回归就属于参数化机器学习算法。

非参数机器学习算法

没有对映射函数的形式做出强烈假设的算法称为非参数机器学习算法。因为不做假设，非参数算法可以自由地从训练数据中学习任何functional form。

非参数方法通常更灵活，达到更好的精度，但需要更多的数据和训练时间。

向量机、神经网络和决策树都属于非参数算法。

参数/非参数模型

由上述可知，参数模型和非参数模型中的“参数”并不是模型中的参数，而是数据分布的参数。  

在统计学中，参数模型通常假设总体服从某个分布，这个分布可以由一些参数确定，如正态分布由均值和标准差确定，在此基础上构建的模型称为参数模型；非参数模型对于总体的分布不做任何假设或者说是数据分布假设自由，只知道其分布是存在的，所以就无法得到其分布的相关参数，只能通过非参数统计的方法进行推断。

参数模型 ：对学到的函数方程有特定的形式，也就是明确指定了目标函数的形式 -- 比如线性回归模型，就是一次方程的形式，然后通过训练数据学习到具体的参数。可以通过有限个参数来确定一个模型，这样的方式就是“有参数模型”。

非参数模型并不是说模型中没有参数。这里的non-parametric类似单词priceless，也就是参数是非常非常非常多的！（注意：所谓“多”的标准，就是参数数目大体和样本规模差不多）