摘要: 训练神经网络模型时通常要设置学习率learning_rate,可以直接将其设置为一个常数(通常设置0.01左右),但是用产生过户学习率会使参数的更新过程显得很僵硬,不能很好的符合训练的需要(到后期参数仅需要很小变化时,学习率的值还是原来的值,会造成无法收敛,甚至越来越差的情况),过大无法收敛,过小训 阅读全文
posted @ 2019-11-16 11:17 彼岸的客人 阅读(1784) 评论(0) 推荐(0) 编辑
摘要: 在分类问题中,交叉熵是经常选用的损失函数(loss) 关于交叉熵的详细解释请看这篇博客:https://blog.csdn.net/tsyccnh/article/details/79163834 在单分类问题中(即one-hot问题),通常使用tf.nn.softmax_cross_entropy 阅读全文
posted @ 2019-11-16 10:48 彼岸的客人 阅读(433) 评论(0) 推荐(0) 编辑