摘要：
 阅读全文
摘要：
ResNet 如果说CNN只要你连接一个网路的话， 那么只要连接ResNet就可以了。ResNet是一个很简单的，也是一个很好用的网络。 模型越复杂精度就越高吗？不是的。可以看下图，五角星是最优解，下面F表示模型的解范围，解范围越大，也就表示模型越复杂，那么可以看到，F3的最优解是比F6的最优解距离 阅读全文
摘要：
批量归一化 现在卷积神经网基本都是要使用到BN层的。BN层的思想不新，但是这个特定的层确实是最近几年才出来的，而且大家会发现效果很好。而且当大家要把网络做深的时候，这就是一个不可避免的层了。 梯度在上面的层会大，越往下面梯度会越来越小。 这就导致了一个很大的问题，就是上面的层梯度较大，那么权重更新比 阅读全文