降低损失--迭代方法
下图显示了机器学习算法用于训练模型的迭代试错过程：
图1 用于训练模型的迭代方法
我们将在整个机器学习课程中使用相同的迭代方法详细说明各种复杂情况，尤其是上图中的蓝色区域。迭代策略在机器学习中的应用非常普遍，这主要是因为它们可以很好地扩展到大型数据集。
“模型”部分将一个或多个特征作为输入，然后返回一个预测(y')作为输出，为了进行简化，不妨考虑一种采用一个特征并返回一个预测的模型：
$$y' = b + w_1x_1$$
我们应该为b和w1设置那些初始值？对于线性回归问题，事实证明初始值并不重要。我们可以随机选择值，不过我们还是选择采用以下这些无关紧要的值：
$$b=0$$
\[w_1 =0
\]
假设第一个特征值为10.将该特征值带入预测函数会得到以下结果：
y' = 0 + 0(10)
y' = 0
图中的“计算损失”部分是模型将要使用的损失函数。假如我们使用平方损失函数，损失函数将采用两个输入值：
- y'：模型对特征 x 的预测
- y：特征 x 对应的正确标签。
最后，我们来看图的“计算参数更新”部分。机器学习系统就是在此部分检查损失函数的值，并未b和w1生成新值。现在，假设这个神秘的绿色方框会产生新值，然后机器学习系统将根据所有标签重新评估所有特征，为损失函数生成一个新的值，而该值又产生新的参数值。这种学习过程会持续迭代，直达该算法发现损失可能最低的模型参数。通常，您可以不断迭代，直到总体损失不再变化或至少变化及其缓慢为止。这时候，我们可以说该模型已“收敛”。
要点
在训练机器学习模型时，首先对权重和偏差进行初始猜测，然后反复调整这些猜测，直到获得损失可能最低的权重和偏差为止。
