4.神经网络

1|01.生物学起源

2|02.粗糙模型

要注意这个对于生物神经元的建模是非常粗糙的；在实际中，有很多不同类型的神经元，每种都有不同的属性。生物神经元的树突可以进行复杂的非线性计算。突触并不是一个简单的权重，他们是复杂的非线性动态系统。很多系统中，输出的峰值信号的精确时间点非常重要，说明速率编码的近似是不够全面的。鉴于所有这些已经介绍和更多未介绍的简化，如果你画出人类大脑和神经网络之间的类比。

理解正则化在SVM/Softmax的例子中，正则化损失从生物学角度可以看作逐渐遗忘，因为他的效果是让所有突触权重w在参数更新过程中逐渐向着0变化。

3|03.常用激活函数

4|0总结

一句话：“那么该用那种呢？”用ReLU非线性函数。注意设置好学习率，或许可以监控你的网络中死亡的神经元占的比例。如果单元死亡问题困扰你，就试试Leaky ReLU或者Maxout，不要再用sigmoid了。也可以试试tanh，但是其效果应该不如ReLU或者Maxout。

__EOF__

本文作者：DeepBrainBoy
本文链接：https://www.cnblogs.com/tccjx/p/16601277.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！