2018年12月23日
如何确定梯度爆炸和解决梯度爆炸
摘要： "github博客传送门" "csdn博客传送门" 如何确定是否出现梯度爆炸？ 训练过程中出现梯度爆炸会伴随一些 细微的信号 ，如： 1. 模型无法从训练数据中获得更新（如低损失）。 2. 模型不稳定，导致更新过程中的损失出现显著变化。 3. 训练过程中，模型损失变成 NaN。 如果你发现这些问题， 阅读全文
posted @ 2018-12-23 14:56 账号 阅读(1834) 评论(0) 推荐(0) 编辑
神经网络的调参效果不理想时->(解决思路)
摘要： "github博客传送门" "csdn博客传送门" 非过拟合情况 1. 是否找到合适的损失函数？(不同问题适合不同的损失函数)(理解不同损失函数的适用场景) (解决思路)选择合适的损失函数（choosing proper loss ） 神经网络的损失函数是非凸的，有多个局部最低点，目标是找到一个可用 阅读全文
posted @ 2018-12-23 14:29 账号 阅读(5566) 评论(0) 推荐(2) 编辑