4.神经网络

1.生物学起源

2.粗糙模型

要注意这个对于生物神经元的建模是非常粗糙的；在实际中，有很多不同类型的神经元，每种都有不同的属性。生物神经元的树突可以进行复杂的非线性计算。突触并不是一个简单的权重，他们是复杂的非线性动态系统。很多系统中，输出的峰值信号的精确时间点非常重要，说明速率编码的近似是不够全面的。鉴于所有这些已经介绍和更多未介绍的简化，如果你画出人类大脑和神经网络之间的类比。

• 理解正则化 在SVM/Softmax的例子中，正则化损失从生物学角度可以看作逐渐遗忘，因为他的效果 是让所有突触权重w在参数更新过程中逐渐向着0变化。

3.常用激活函数

总结

一句话：“那么该用那种呢？”用ReLU非线性函数。注意设置好学习率，或许可以监控你的网络中死亡的神经元占的比例。如果单元死亡问题困扰你，就试试Leaky ReLU或者Maxout，不要再用sigmoid了。也可以试试tanh，但是其效果应该不如ReLU或者Maxout。