《动手学深度学习》(TF2.0版)（二）3.深度学习基础

3.1 线性回归

回归：输出是连续值。回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。

　　线性回归适用于回归问题。

分类：输出是离散值。我们所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。

　　softmax回归则适用于分类问题。

线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模型。

我们首先以线性回归为例，介绍大多数深度学习模型的基本要素和表示方法。

3.1.1 线性回归的基本要素

3.1.1.1模型定义

 模型输出 y^​ 是线性回归对真实价格 y 的预测或估计。

3.1.1.2 模型训练

模型训练（model training）接下来我们需要通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小。

下面我们介绍模型训练所涉及的3个要素。

(1) 训练数据

训练数据集（training data set）或训练集（training set）

(2) 损失函数

给定训练数据集，损失函数表示的误差只与模型参数相关，因此我们将它记为以模型参数为参数的函数。在机器学习里，将衡量误差的函数称为损失函数（loss function）。

常用损失函数

(3) 优化算法

当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。线性回归和平方误差刚好属于这个范畴。

然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。

常用优化算法

3.1.1.3 模型预测

把学出的参数代入线性回归模型，估算训练数据集以外任意一栋面积（平方米）为x1​、房龄（年）为x2​的房屋的价格。

这里的估算也叫作模型预测、模型推断或模型测试。

3.1.2 线性回归的表示方法

下面解释线性回归与神经网络的联系，以及线性回归的矢量计算表达式。

3.1.2.1 神经网络图

3.1.2.2 矢量计算表达式

 

 

 

参考：

https://trickygo.github.io/Dive-into-DL-TensorFlow2.0/#/chapter03_DL-basics/3.1_linear-regression?id=_3121-%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%9B%BE