摘要: Weights Initialization (话说在前头,可能这才是深度学习中最重要的地方) What if you initialize weights to zero? 如果权重全部初始化为零,我们知道此时第一层所有的a都是对称的;这也就导致了后面我们得到的dW是每行都一样的(笔者认为此时如果 阅读全文
posted @ 2022-04-24 21:02 Link_kingdom 阅读(34) 评论(0) 推荐(0) 编辑
摘要: Gradient descent for neural networks 还是针对之前概览中的这个网络,并且考虑它做的是binary classification; 则我们现在来讨论其中的梯度下降方法, \[ Parameters(参数): \mathop{W^{[1]}}\limits_{(n^{ 阅读全文
posted @ 2022-04-24 19:47 Link_kingdom 阅读(26) 评论(0) 推荐(0) 编辑