摘要:
转载https://www.cnblogs.com/sea-stream/p/11361476.html 在C++中,内存分成5个区,他们分别是堆、栈、自由存储区、全局/静态存储区和常量存储区。 栈,就是那些由编译器在需要的时候分配,在不需要的时候自动清楚的变量 的存储区。里面的变量通常是局部变量、 阅读全文
摘要:
1.把w初始化为0 在神经网络中,把w初始化为0是不可以的。这是因为如果把w初始化0,那么每一层的神经元学到的东西都是一样的(输出是一样的),而且在bp的时候,每一层内的神经元也是相同的,因为他们的gradient相同。 2.对w随机初始化 初始化容易出现梯度消失或者梯度爆炸的问题。 3.Xavie 阅读全文