4.神经网络
1.生物学起源
2.粗糙模型
要注意这个对于生物神经元的建模是非常粗糙的;在实际中,有很多不同类型的神经元,每种都有不同的属性。生物神经元的树突可以进行复杂的非线性计算。突触并不是一个简单的权重,他们是复杂的非线性动态系统。很多系统中,输出的峰值信号的精确时间点非常重要,说明速率编码的近似是不够全面的。鉴于所有这些已经介绍和更多未介绍的简化,如果你画出人类大脑和神经网络之间的类比。
- 理解正则化 在SVM/Softmax的例子中,正则化损失从生物学角度可以看作逐渐遗忘,因为他的效果 是让所有突触权重w在参数更新过程中逐渐向着0变化。
3.常用激活函数
总结
一句话:“那么该用那种呢?”用ReLU非线性函数。注意设置好学习率,或许可以监控你的网络中死亡的神经元占的比例。如果单元死亡问题困扰你,就试试Leaky ReLU或者Maxout,不要再用sigmoid了。也可以试试tanh,但是其效果应该不如ReLU或者Maxout。
本文来自博客园,作者:TCcjx,转载请注明原文链接:https://www.cnblogs.com/tccjx/p/16601277.html