西瓜书打卡TASK第一章绪论第三章线性模型

1，线性回归（Linear Regression)

线性回归，就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值。

通过线性回归构造出来的函数一般称之为了线性回归模型。线性回归模型的函数一般写作为：

损失函数 Cost Function
在机器学习中，很多时候，我们需要找到一个损失函数。有了损失函数，我们就可以经过不断地迭代，找到损失函数的全局或者局部最小值（或者最大值）。损失函数使得我们的问题转化成数学问题，从而可以用计算机求解。在线性回归中，我们用方差作为损失函数。我们的目标是使得方差最小。

优化方法 Optimization Function
有了损失函数，我们还需要一个方法，使得我们可以找到这个损失函数的最小值。机器学习把他叫做优化方法。这里的优化方法，就是算损失的方向。或者说，当我的参数变化的时候，我的损失是变大了还是变小了。如果a变大了，损失变小了。那么，说明a增大这个方向是正确的，我们可以朝着这个方向继续小幅度的前进。反之，就应该考虑往相反的方向试试看。因为每个参数（a和b）都是一维的，所以，所谓的方向，无非就是正负符号。

这里，我们需要用偏微分的方法，得到损失函数的变化量。即：