戴墨镜的长颈鹿

摘要： 神经网络通常会包含很多次连续的 matrix 和 vector 之间的乘法，即 $a * x$ 。很多次连续的乘法后，会导致结果向量的值要么很大，要么被减小为0。我们可以通过除以了数值 $a$ （也称 scaling_factor，缩放因子）来将结果向量的值缩放到一个正常的范围 阅读全文