神经网络的图解

所以说前2种监督方法里面,除了输出单元意外每一层都有一个bias神经元

●BP网络具有很强的非线性映射能力，一个3层BP神经网络能够实现对任意非线性函数进行逼近（根据Kolrnogorov定理）

第二节、神经网络实现 

1.数据归一化

●这两个算法很好:第一个在值域是[0,1]的时候用.也就是跟最小的距离/range

                             第二个是值域是[-1,1]的时候用,也就是上面的函数成2-1.因为值域是[0,1]的区域*2-1就是[-1,1].

 ●

●注意2-1里面的d.是从L到2的所以他叫反向传播.即梯度是从最后一层先算出来,再算出前面倒数第二层......

 

推导这个softmax,首先根据他的真实结果也就是y,知道推到里面式子i都只取2.后面没算明白