05 2017 档案

摘要:一:引言 因为在机器学习的一些模型中,如果模型的参数太多,而训练样本又太少的话,这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题,过拟合指的是模型在训练数据上损失函数比较小,预测准确率较高(如果通过画图来表示的话,就是拟合曲线比较尖,不平滑,泛化能力不好),但是在测试数据上 阅读全文
posted @ 2017-05-08 14:36 7岁 阅读(17025) 评论(1) 推荐(1) 编辑
摘要:http://blog.csdn.net/whiup/article/details/52276110 1. sigmoid激活函数 sigmoid将一个实数输入映射到[0,1]范围内,如下图(左)所示。使用sigmoid作为激活函数存在以下几个问题: 梯度饱和。当函数激活值接近于0或者1时,函数的 阅读全文
posted @ 2017-05-07 10:58 7岁 阅读(470) 评论(0) 推荐(0) 编辑
摘要:传送门 阅读全文
posted @ 2017-05-06 21:16 7岁 阅读(274) 评论(0) 推荐(0) 编辑
摘要:1.为什么在训练神经网络之前,要对输入数据做归一化处理? 神经网络学习过程的本质是为了学习数据的分布,一方面一旦训练数据与测试数据的分布不同,那么网络的泛化能力也降低。另一方面一旦每批训练数据的分布各不相同(batch 梯度下降),那么网络就要在每次迭代都去学习适应不同的分布,这样将会大大降低网络的 阅读全文
posted @ 2017-05-06 09:44 7岁 阅读(197) 评论(0) 推荐(0) 编辑
摘要:知乎 csdn Batch Normalization 学习笔记 原文地址:http://blog.csdn.net/hjimce/article/details/50866313 作者:hjimce 一、背景意义 本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Batch Nor 阅读全文
posted @ 2017-05-05 16:59 7岁 阅读(706) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示