神经网络计算过程

1、通过下述模型计算出各个神经元的输入与输出

其中 X₁ =1，X₂ = -1，要求计算Z_1, Z_2, Z_3，并写出计算过程。

 

 

Z_1=1*1-1*2=-1

Z_2=-1*1-1*1=-2

Z_3=a1*1+1*a2=a1+a2

2、解释说明神经网络训练三部曲。

（1）正向传播

正向传播：指对神经网络沿着输入层到输出层的顺序，依次计算并存储模型的中间变量。

正向传播的计算依赖于模型参数的当前值，这些模型参数是在反向传播梯度计算后通过优化算法迭代的

（2）反向传播

反向传播（back-propagation）：沿着从输出层到输入层的顺序，依据链式法则，依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。

反向传播是一种计算神经网络参数梯度的方法

反向传播的梯度计算可能依赖于各变量的当前值，这些值是通过正向传播计算得到的

反向传播的本质是链式法则

 

（3）梯度下降

梯度下降：在损失函数基础上向着损失最小的点靠近，从而指引了网络权重调整的方向