2020年5月10日
摘要：
目前比较流行的初始化方式如下： 阅读全文
摘要：
过拟合一、定义二、过拟合的解决方案2.1 DropOut2.2 L2 正则化2.3 L1 正则化2.4 最⼤范数约束 (Max Norm) 一、定义 在训练数据集上的准确率很⾼，但是在测试集上的准确率⽐较低 二、过拟合的解决方案 2.1 DropOut 假设有一个过拟合的神经网络如下： DropOu 阅读全文
摘要：
文章目录一、梯度消失1.1 定义1.2 梯度消亡(Gradient Vanishing)前提1.3 产生的原因1.4 解决方案二、梯度爆炸2.1 解决方法 一、梯度消失 1.1 定义 神经⽹络靠输⼊端的⽹络层的系数逐渐不再随着训练⽽变化，或者 变化⾮常缓慢。随着⽹络层数增加，这个现象越发明显 1.2 阅读全文
摘要：
损失函数一、定义二、命名三、损失函数的作用3.1 训练方法3.2 损失函数的选取原则四、常用的损失函数4.1 回归Regression问题4.2 分类Classification问题4.2.1 单label问题4.2.2 多label问题 一、定义 在深度学习中，损失函数是用来衡量一组参数的质量的函 阅读全文