摘要:
欠拟合解决方法:增加输入特征项,增加网络参数,减少正则化参数 过拟合解决方法:数据清洗,增大训练集,采用正则化,增大正则化参数 阅读全文
摘要:
预测值与实际值的差距。 常用损失函数:均方误差,交叉熵,自定义 阅读全文
摘要:
使输出不再是x的线性关系,增强神经网络的表达力。 优秀的激活函数:非线性,可微性,单调性,近似恒等性。 输出范围:有限值,基于梯度,无限值,调小学习率。 sigmoid函数:求导后为0-0.25。易造成梯度消失,输出非0均值收敛慢,幂运算复杂训练时间长。 Tanh函数:易造成梯度消失,幂运算复杂训练 阅读全文