梯度下降原理及其过程:https://blog.csdn.net/qq_41800366/article/details/86583789
有限差分估计梯度:
写起来简单,但速度慢而且结果区分度不大
解析梯度:
计算图:
反向传播工作机制:
从输出开始乘以每个节点的本地梯度,一直传递到输入
梯度从后向前传播(链式法则)
sigmoid函数:
加法门、max门、乘法门:
加法门相当于分配梯度
max门相当于路由器,将梯度传给上游最大值所在节点
乘法门相当于转换器
多个神经元在节点处相加的梯度等于每个神经元的梯度相加的和
向量的反向传播:
反向传播api:
例:
summary:
1