神经网络——随机初始化

如果将所有的Θ初始化为0会怎样？

如果

\[\Theta _{ij}^{\left( l \right)} = 0\]

那么

\[\begin{array}{l}
a_1^{\left( 2 \right)} = a_2^{\left( 2 \right)}\\
\delta _1^{\left( 2 \right)} = \delta _2^{\left( 2 \right)}\\
\frac{\partial }{{\partial \Theta _{01}^{\left( 1 \right)}}}J\left( \Theta \right) = \frac{\partial }{{\partial \Theta _{02}^{\left( 1 \right)}}}J\left( \Theta \right)\\
...
\end{array}\]

这就导致

After each update, parameters corresponding to inputs going into each of two hidden units are identical

在每次更新之后，对应于进入两个隐藏单元中的每一个的输入的参数是相同的

---

解决方法是随机生成参数值