《实用机器学习》中的一些拓展问题

问题1：什么是参数和非参数机器学习算法？

1.1参数机器学习算法

（1）两步骤：

     1. 选择一种目标函数的形式；

     2. 从训练数据中学习目标函数的系数。

（2）参数机器学习算法的优点：

简单：这些算法很容易理解和解释结果；

快速：参数模型可以很快从数据中学习；

少量的数据：它们不需要太多的训练数据，甚至可以很好地拟合有缺陷的数。

（3）参数机器学习算法的局限性：

约束：这些算法选择一种函数形式高度低限制模型本身；

有限的复杂性：这种算法可能更适合简单的问题；

不适合：在实践中，这些方法不太可能匹配潜在的目标（映射）函数。

（4）参数机器学习算法的一些常见例子包括：

Logistic Regression

LDA（线性判别分析）

感知机

朴素贝叶斯

简单的神经网络

1.2非参数机器学习算法：

　　不对目标函数的形式作出强烈假设的算法称为非参数机器学习算法。通过不做假设，它们可以从训练数据中自由地学习任何函数形式。

（1）在构造目标函数时，非参的方法寻找最合适的训练数据，同时保留一些对不可见数据的泛化能力。因此，这些非参方法能够拟合大多数的函数形式。

（2）非参数机器学习算法的优点：

灵活性：拟合大量的不同函数形式；

能力：关于潜在的函数不需要假设（或者若假设）；

性能：可以得到用于预测的高性能模型。

（3）非参数机器学习算法的局限性：

更多的数据：需要更多的训练数据用于估计目标函数；

慢：训练很慢，因为它们常常需要训练更多的参数；

过拟合：更多的过度拟合训练数据风险，同时它更难解释为什么要做出的具体预测。

（4）非参数机器学习算法的一些常见例子包括：

KNN

决策树，比如CART和C4.5

SVM