摘要:
与学习相关的技巧 前言 此为本人学习《深度学习入门》的学习笔记 一、参数的更新 神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题,解决这个问题的过程称为最优化(optimization)。为了找到最优参数,我们将参数的梯度(导数)作为了线索。使用参数的梯度,沿梯度方向更 阅读全文
摘要:
第四章 神经网络的学习 前言 此为本人学习《深度学习入门》的学习笔记 三、数值微分 梯度法使用梯度的信息决定前进的方向 1、导数 (4.4) 式(4.4)表示的是函数的导数。左边的符号 表示 f(x)关于 x 的导数,即f(x)相对于 x 的变化程度。式(4.4)表示的导数的含义是,x 的“微小变化 阅读全文