吴恩达机器学习系列1-2

监督学习

指通过让机器学习大量带有标签的样本数据，训练出一个模型，并使该模型可以根据输入得到相应输出的过程。通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函数，将输入映射到合适的输出，例如分类。或者回归。

常见应用：垃圾邮件问题、判断乳腺癌良性恶性等。

详细内容见：一文看懂监督学习

无监督学习

从无标注的数据中学习数据的统计规律或者说内在结构的机器学习，主要包括聚类、降维、概率估计，对应的输出是类别，转换，概率。它无法量化效果，没有明确目的。

常见应用：用户细分、推荐系统等。

详细内容见：一文看懂无监督学习

模型描述

数据：

 

任务：预测房子价格

单变量线性回归模型描述：

 

 代价函数

通过代价函数把最有可能的直线与我们的数据拟合。

同上面提到的例子，列出假设函数：

 通过代价函数找参数：

 

ps：平方误差函数适用于大多数线性回归问题。

J函数到最小值时，得到使直线拟合的参数。

 

一个参数时J函数是碗形；

若有两个参数，形状则成为3D的碗状曲面：

用等高线图展示如下

中心点是曲面低谷，即J函数最小值处，这时拟合效果最好：

 

 

 梯度下降算法

用于最小化代价函数。

在梯度下降的过程中，从最快下坡的方向往下走；

但方向不同，可能会得出不一样的局部最优解，如图：

 容易陷入局部最优，是梯度下降法的一大特点。

 

数学原理：

需要真正实现同时更新参数。

 

 

 

当学习速率太小时，梯度下降得会很慢；当学习速率太大时，参数可能无法收敛或发散。

如果参数已经处在一个局部最优点，下一步梯度下降该怎样进行呢？

答案是不会再改变。因为：

当学习速率不变时，同样可以下降到局部最优点。

 这就是梯度下降算法。

 

 

线性回归的梯度下降

 将梯度下降法与代价函数相结合，得到线性回归的算法。它可以用直线模型来拟合数据。

 分别对参数1、参数2求导：

 就这样更新参数至直线模型拟合数据。