梯度消失、爆炸原因及其解决方法
摘要：一、梯度不稳定问题： 什么是梯度不稳定问题：深度神经网络中的梯度不稳定性，前面层中的梯度或会消失，或会爆炸。 原因：前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时，就出现了内在本质上的不稳定场景，如梯度消失和梯度爆炸。 二、梯度消失（vanishing gradient proble
阅读全文
posted @ 2018-12-04 14:29
随笔分类 - 面试
TensorFlow+实战Google深度学习框架学习笔记（10）-----神经网络几种优化方法
摘要：神经网络的优化方法： 1、学习率的设置（指数衰减） 2、过拟合问题（Dropout） 3、滑动平均模型（参数更新，使模型在测试数据上更鲁棒） 4、批标准化（解决网络层数加深而产生的问题 如梯度弥散，爆炸等） 一、学习率的设置 指数衰减方法 通过指数衰减的方法设置GD的学习率。该方法可让模型在训练的前
阅读全文
posted @ 2018-11-27 21:43
调参
摘要：一、训练集、验证集和测试集 传统的机器学习的切分：【小数量，百、千、万】 70%的训练集、30%的测试集 60%的训练集、20%验证集和20%的测试集 大数据时代：【百万、千万、亿】 验证集的目的是验证不同的算法，检验哪种算法有效。 百万：98%训练，1%验证，1%测试 超过百万：99.5%训练，0
阅读全文
posted @ 2018-11-24 14:52
面试题1-----SVM和LR的异同
摘要：1、异（加下划线是工程上的不同） （1）两者损失函数不一样 （2）LR无约束、SVM有约束 （3）SVM仅考虑支持向量。 （4）LR的可解释性更强，SVM先投影到更高维分类再投影到低维空间。 （5）SVM不能给出概率结果。 （6）SVM是自带有约束条件的正则，泛化能力比LR好。LR是无约束正则。 （
阅读全文
posted @ 2018-06-03 16:20
