Toriyung

摘要： 首先要明确的是反向传播的目的 神经网络训练的最终目的，是得到可观的模型参数（如ω，b等）训练参数的方式，就是通过反向传播，使用梯度下降法（一般情况下）改变模型参数。 其原理则是通过最优化损失函数（loss function），即使其导数向0靠近，公式表达为dL/dω，而损失函数L是一个复合函数，则其 阅读全文

摘要： 符号表示 ω为神经元线性函数的参数 b为神经元线性函数的参数 z为神经元的线性函数输出 g为激活函数 a为z输入下g的输出 前向传播 据此，对于第L层神经元，可以表示为如图公式组 阅读全文