摘要：
回归：过拟合情况 / 分类过拟合 防止过拟合的方法有三种： 1 增加数据集 2 添加正则项 3 Dropout,意思就是训练的时候隐层神经元每次随机抽取部分参与训练。部分不参与 最后对之前普通神经网络分类mnist数据集的代码进行优化，初始化权重参数的时候采用截断正态分布，偏置项加常数，采用drop 阅读全文
摘要：
二次代价函数(quadratic cost): 其中,C表示代价函数,x表示样本,y表示实际值,a表示输出值,n表示样本的总数。为简单起见,使用一个样本为例进行说明,此时二次代价函数为: 假如我们使用梯度下降法(Gradient descent)来调整权值参数的大小,权值w和偏置b的梯度推导如下: 阅读全文