2023年4月11日(软件工程日报)
深度学习进步之处
由sigmid函数,转变为RELU函数,由于梯度下降原因,sigmid函数后期学习非常缓慢,但relu函数可以避免这种情况
损失函数,用于衡量单一训练样例效果
逻辑回归中用到的损失函数是:𝐿(𝑦^ , 𝑦) = −𝑦log(𝑦^) − (1 − 𝑦)log(1 − 𝑦^)
成果函数,用于衡量参数w和b的效果
为了衡量算法在全部训练样本上的表现如何,我们
需要定义一个算法的代价函数:
算法的代价函数是对𝑚个样本的损失函数求和然后除以?
梯度下降法,
通过最小化代价函数(成本函数)𝐽(𝑤, 𝑏)来训练的参数𝑤和𝑏
: =表示更新参数,
𝑎 表示学习率(learning rate),用来控制步长(step)