07 2023 档案

丢弃法(Dropout)

摘要：# 丢弃法(Dropout) Dropout的思想：“Learning less to learn better”。意思是使用更少的连接使效果更好。在训练的时候，dropout会把一些连接断掉，而在测试(验证)的时候保持全连接。阅读全文

posted @ 2023-07-13 19:54 同淋雪阅读(152) 评论(0) 推荐(0) 编辑

早停法-Early stopping

摘要：# 早停法(Early stopping) 在训练时我们会发现，并不是随着训练次数的越多训练效果越好，过度训练甚至会导致准确率的下降。所以我们需要在合适的时候选择停止，提前终止训练，保证模型的性能最好。实现方式： 1. 使用测试集(验证集)做模型参数选择； 2. 监测测试的表现； 3. 在准确率到阅读全文

posted @ 2023-07-13 18:28 同淋雪阅读(375) 评论(0) 推荐(0) 编辑

动量(momentum)

摘要：# 动量(momentum) 动量类似于物理中的运动物体具有惯性，下一个时刻的运动方向，会与上个时刻的运动方向有关。梯度下降的过程中，参数w朝着损失函数的偏导数的方向迭代，也就是下降得最快方向。 ![image-20230713170043310](https://gitee.com/drench 阅读全文

posted @ 2023-07-13 17:41 同淋雪阅读(349) 评论(0) 推荐(0) 编辑

正则化

摘要：# 正则化正则化的提出在于减轻过拟合。减轻过拟合有多种方法： - 提供更多的数据 - 降低模型复杂度 - Drop out - 数据增强(Data argumentation) - Early stopping 正则化的本质是使高维的参数变小，接近于0，降低模型复杂度。 ![image-2023 阅读全文

posted @ 2023-07-13 16:23 同淋雪阅读(10) 评论(0) 推荐(0) 编辑