机器学习笔记1

高斯分布属于指数分布族，线性最小二乘就是基于高斯分布。

线性最小二乘——最大似然——最小二乘。

高斯判别分析（GDA）针对的是特征向量 x 为连续值时的问题，而朴素贝叶斯（NB）针对的是特征向量 x 为离散值时的问题。

GDA 比 Logistic 回归有更严格的前置假设。当数据服从或大致服从正态分布时，使用 GDA 会达到更好的效果，因为 GDA 利用了更多的信息构建模型。但当数据不服从正态分布时，那么 Logistic 回归更有效，因为它作出更少的假设，构建的模型更加健壮，更加具有鲁棒性。生成学习还有另外一个好处，就是可以使用比判别学习模型更少的数据构建出强壮的模型。

虽然朴素贝叶斯假设是一个极强的假设，但算法在许多问题上依然运行很好。

 

参考资料：

1、http://blog.csdn.net/acdreamers/article/details/44663091

2、http://blog.csdn.net/column/details/ml-ng-record.html

3、http://www.cnblogs.com/jerrylead/tag/Machine%20Learning/