摘要： 本博客仅为自己查阅方便，所有内容均转自其他博主博客，部分内容可见图片水印，以及点击以下参考链接： 【1】（ 推荐！ ） "LaTeX各种命令汇总" 【2】 "Markdown符号汇总" 一、LaTeX各种命令汇总[1] ( 一 )函数、符号及特殊字符声调 （ 二 ）微分 （ 三 ）集合 （ 四 ）逻 阅读全文

摘要： 一、衰减和爆炸 当神经⽹络的层数较多时，模型的数值稳定性容易变差。例如假设权重分别为0.2和5，$0.2^{30} \approx 1\times 10^{ 21}$(此时得到一个很小的数，会导致神经元学习非常慢，从而导致 衰减 。),$5^{30} \approx 9\times 10^{20}$ 阅读全文