机器学习课程 第四集 学习心得

首先，教授讲了一个牛顿方法，来说明这个方法是怎么得到一个θ使得f(θ)为0。在教授看来，牛顿方法收敛速度是很快的。

接下来全部都用到了一个模型——广义线性模型。

教授说，伯努利以及基于最小二乘法的线性回归（也就是之前所说的两个算法）是广义线性模型的一个特例。

广义线性模型是这样的：

 

之后，教授用不少的时间来证明，伯努利以及基于最小二乘法的线性回归确实是广义线性模型的一个特例，只要b(y),T(y),α(η)取相应的值，就能得到相应的伯努利以及基于最小二乘法的线性回归。详细的证明过程，可以看讲义，或者是看看视频。

提出广义线性模型是为了方便你的建模，当你需要一个新的学习算法，怎么办？教授说，如果结果y只取0跟1，那么我就决定使用伯努利分布，而后，其他的一切就能通过广义线性模型进行自动化的导出了。

接下来，教授讲解了一个相当复杂的多项式分布的建模，说实话这个听得我晕晕的 - -。大概过程就是如何利用广义线性模型来对多项式分布进行建模，由于涉及到多项，所以复杂程度真的大很多，因此在没有完全理解的情况下，我就暂且不写出来了。