摘要：
课时11 神经网络训练细节part1（下） 2010年，Glorot等人写的论文，我们称之为Xavier初始化，他们关注了神经元的方差表达式。他们推荐一种初始化方式，那就是对每个神经元的输入进行开根号。但是这种方法用在relu网络不是很奏效，这时候需要考虑一个额外因数2，如果没有这个2，则激活输出的 阅读全文
摘要：
课时10 神经网络训练细节part1（上） 没有大量的数据也不会有太多影响，只需要找一个经过预训练的卷积神经网络然后进行调整 sihmoid函数 是一个挤压函数，取值为0到1之间的实数 他的第一个问题：一个饱和的神经元，也就是说这个神经元的输出要么非常接近0要么非常接近1，这些神经元会导致在反向传播 阅读全文