线性回归
一、回归
回归：是指一类为一个或多个自变量与因变量之间关系建模的方法，通常用来表示输入与输出的关系（连续值）
二、线性回归
自变量x与因变量 y 之间的关系是线性的，即y可以表示为 x 中元素的加权和，这里通常允许包含观测值的一些噪声
三、线性模型
式子中：w 称为权重；b为偏置
1、权重决定了每个特征对我们预测值的影响。偏置是指当所有特征都取值为0时，预测值应该为多少。
2、 严格来说，式子是输入特征的一个仿射变换（affine transformation）。仿射变换的特点是通过加权和对特征进行线性变换（linear transformation），并通过偏置项来进行平移（translation）
3、线性回归的目标是找到一组权重向量 w 和偏置 b。当给定从X的同分布中取样的新样本特征时，找到的权重向量和偏置能够使得新样本预测标签的误差尽可能小
4、在我们开始寻找最好的 模型参数（model parameters）w 和 b 之前，我们还需要两个东西：（1）一种模型质量的度量方式；（2）一种能够更新模型以提高模型预测质量的方法。
四、损失函数
1、损失函数：能够量化目标的实际值与预测值之间的差距
2、样本 𝑖 的预测值为 𝑦̂ (𝑖)，其相应的真实标签为 𝑦(𝑖) 。平方误差如下
3、为了度量模型在整个数据集上的质量，我们需要计算在训练集n个样本上的损失误差均值
4、在训练模型时，我们希望寻找一组参数 (𝐰∗,𝑏∗w∗,b∗)，这组参数能最小化在所有训练样本上的总损失
五、小批量随即梯度下降
1、它通过不断地在损失函数递减的方向上更新参数来降低误差
2、最简单的用法是计算损失函数（数据集中所有样本的损失均值）关于模型参数的导数（在这里也可以称为梯度），但是在执行中会非常慢，因为每一个更新数据库都需要遍历整个数据集
3、为解决以上问题，可以在每次计算更新时随机抽取一小批样本，这就是小批量随机梯度下降
4、随机梯度下降步骤
- 随机抽样一个小批量B
- 计算小批量的平均损失关于模型参数的导数
- 将梯度乘以一个预先确定的正数𝜂η，并从当前参数的值中减掉
5、公式介绍
- |B| 表示每个小批量中的样本数，这也称为批量大小
- η 表示学习率
- 批量大小和学习率的值通常是手动预先指定，而不是通过模型训练得到。这种可以调整但不在训练过程中更新的参数被称为超参数
- 调参就是选择超参数的过程
五、神经网络图
对于线性回归，每个输入都与每个输出（在本例中只有一个输出）相连，我们将这种变换（ 输出层）称为 全连接层
