吴恩达机器学习笔记（一）

监督学习

监督学习是已经知道数据的label，例如预测房价问题，给出了房子的面积和价格。（每一个例子都有一个正确的答案）

回归问题是预测连续值的输出，例如预测房价。拟合出一条直线或者是二次函数，用来预测输出

分类问题是预测离散值输出，例如判断肿瘤是良性还是恶性。

无监督学习

无监督学习是不知道数据具体的含义，比如给定一些数据但不知道它们具体的信息，对于分类问题无监督学习可以得到多个不同的聚类，从而实现预测的功能。（聚类是无监督学习中的一种），没有给定正确答案，而是让机器算法自动的进行分类，例如新闻的分类，再例如给定客户数据，划分更细地市场。

线性回归

线性回归是拟合一条线，将训练数据尽可能分布到线上。另外还有多变量的线性回归称为多元线性回归。
记号：m（训练样本的数量）
(x^(i)，y(i))：一个训练的例子，x代表输入变量或特征，y代表输出。
监督学习算法：给定一个训练集，学习算法给出一个假设函数，这样可以根据输入来预测输出。
单变量线性回归。

代价函数

cost function，一般使用最小均方差来评估参数的好坏。我们的目标就是最小化代价函数，来获得假设函数中的两个参数。
常用的是平方误差代价函数

多维代价函数

梯度下降

梯度下降，首先为每个参数赋一个初值，通过代价函数的梯度，然后不断地调整参数，最终得到一个局部最优解。初值的不同可能会得到两个不同的结果，即梯度下降不一定得到全局最优解。

梯度下降在具体的执行时，每一次更新需要同时更新所有的参数。

梯度下降公式中有两个部分，学习率和偏导数。
偏导数，用来计算当前参数对应代价函数的斜率，导数为正则θ减小，导数为负则θ增大，通过这样的方式可以使整体向θ=0收敛。

$\alpha$ 用来描述学习率，即每次参数更新的步长。 $\alpha$ 的大小不好确定，如果太小则需要很多步才能收敛，如果太大最后可能不会收敛甚至可能发散。

当 $\theta$ 处于局部最优解时， $\theta$ 的值将不再更新，因为偏导为0。

这也说明了如果学习率 $\alpha$ 不改变，参数也可能收敛，假设偏导 $> 0$ ，因为偏导一直在向在减小，所以每次的步长也会慢慢减小，所以 $\alpha$ 不需要额外的减小。

单元梯度下降

梯度下降每次更新的都需要进行偏导计算，这个偏导对应线性回归的代价函数。

对代价函数求导的结果为：

梯度下降的过程容易出现局部最优解：

但是线性回归的代价函数，往往是一个凸函数。它总能收敛到全局最优。（碗状）

梯度下降过程的动图展示：

多元梯度下降

通常问题都会涉及到多个变量，例如房屋价格预测就包括，面积、房间个数、楼层、价格等

因此代价函数就不再只包含一个变量，为了统一可以对常量引入变量x_0=1。
利用向量点乘进行运算
虽然参数的个数增多，但是对每个参数求偏导时和单个参数类似。

特征缩放

多个变量的度量不同，数字之间相差的大小也不同，如果可以将所有的特征变量缩放到大致相同范围，这样会减少梯度算法的迭代。

特征缩放不一定非要落到[-1，1]之间，只要数据足够接近就可以。
常用方法：

均值归一化

1:计算某个特征的平均值
2：用特征的每个值减去平均值再除以最大值减最小值这样数据会落在[-1,1]之间

方差和标准差
在概率论和统计方差是衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个样本数据和平均数之差的平方和的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。
对于一组随机变量或者统计数据，其期望值（平均数）用E(X)表示，即随机变量或统计数据的均值，然后对各个数据与均值的差的平方和，如下所示：