神经网络学习笔记一——Neural Network


参考自http://deeplearning.stanford.edu/wiki/index.php/Neural_Networks


神经元模型

 


h(x)= f(W'x)
f(z)一般会用sigmoid函数f(z) = 1/(1+exp(-z))

 


或tanh函数f(z) = (exp(z)-exp(-z))/(exp(z)+exp(-z)),

 

两个函数样子类似,区别是sidmoid的值域0~1,tanh在-1~1
注意sigmoid函数的导数特征f'(z)=f(z)(1-f(z))
或tanh函数f'(z)=1-(f(z)^2)

神经网络模型


上一层 的输出是下一层 的激励

若用

则可以

这样我们可以用更为简洁的方式表示

该步骤称之为前向传播(forward propagation)
更为普遍的表示方式为

 

 当然也有其他更复杂的结构,输出层也可以有多个输出,如:

 

posted @ 2018-07-04 16:28  Zodiac7  阅读(222)  评论(0编辑  收藏  举报