4.优化器 - 模型评估
摘要: 优化器 - optimizer 优化器就是在深度学习反向传播过程中,指引损失函数(目标函数)的各个参数往正确的方向更新合适的大小,使得更新后的各个参数损失函数(目标函数)值不断逼近全局最小 优化器不计算梯度,他只是梯度的更新者,它决定了以什么样的形式更新参数 如果损失函数是一座山峰,优化器会通过梯度
7
0
0
3.正向传播与反向传播 - 学习率LR - Batch size - 激活函数 - 损失函数
摘要: 正向传播 尽量降低损失函数 梯度 梯度是一个向量(矢量),函数在一点处沿着该点的梯度方向变化最快,变化率最大。换而言之,自变量沿着梯度方向变化,能够使应变量(函数值)变化最大。 如图:如果想要 w 下降最快就沿着梯度的负方向下降,就能降低损失函数 方向传播 更新各个参数的值(如图中 w 的值),重新
12
0
0
点击右上角即可分享
微信分享提示
深色
回顶
收起