2023年4月11日(软件工程日报)

深度学习进步之处

由sigmid函数，转变为RELU函数，由于梯度下降原因，sigmid函数后期学习非常缓慢，但relu函数可以避免这种情况

损失函数，用于衡量单一训练样例效果 

逻辑回归中用到的损失函数是：𝐿(𝑦^ , 𝑦) = −𝑦log(𝑦^) − (1 − 𝑦)log(1 − 𝑦^)

成果函数，用于衡量参数w和b的效果

为了衡量算法在全部训练样本上的表现如何，我们

需要定义一个算法的代价函数：

算法的代价函数是对𝑚个样本的损失函数求和然后除以?

梯度下降法，

通过最小化代价函数（成本函数）𝐽(𝑤, 𝑏)来训练的参数𝑤和𝑏

 

 

 

 

: =表示更新参数,

𝑎 表示学习率（learning rate），用来控制步长（step）