2018年8月16日

Batch Normalization

摘要： 前言： Batch Normalization是深度学习领域在2015年非常热门的一个算法，许多网络应用该方法进行训练，并且取得了非常好的效果。 众所周知，深度学习是应用随机梯度下降法对网络进行训练，尽管随机梯度下降训练神经网络非常有效，但是它有一个缺点，就是需要人为的设定很多参数，比如学习率，权重 阅读全文

posted @ 2018-08-16 15:57 Charlie_ODD 阅读(240) 评论(0) 推荐(0) 编辑

RF，SVM和NN的优缺点

摘要： 1. 随机森林优缺点 随机森林（RF）是Bagging的一个扩展变体。RF在以决策树为基分类器进行集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。 Bagging就是对数据集训练多个基分类器，然后将基分类器得到的结果进行投票表决作为最终分类的结果。基分类器在构建过程中需要尽可能保证训练出 阅读全文

posted @ 2018-08-16 15:36 Charlie_ODD 阅读(2611) 评论(0) 推荐(1) 编辑

如何防止过拟合

摘要： 通常过拟合由以下三种原因产生： 1. 假设过于复杂；2. 数据存在很多噪音；3. 数据规模太小。 过拟合的解决方法通常有： 1. early stopping；2. 数据集扩增；3. 正则化；4. Dropout。 Early stopping： 对模型的训练过程就是对模型参数的进行学习更新的过程。 阅读全文

posted @ 2018-08-16 15:24 Charlie_ODD 阅读(555) 评论(0) 推荐(1) 编辑

损失函数及其优化算法

摘要： 损失函数 损失函数（loss function）也叫代价函数（cost function）。是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程（损失函数值小了，对应预测的结果和真实结果的值就越接近 1、二次代价函数 二次代价函数就是欧式距离的和，在线性回归中用的比较多，但在 阅读全文

posted @ 2018-08-16 14:50 Charlie_ODD 阅读(2840) 评论(1) 推荐(1) 编辑

激励函数

摘要： 1、sigmoid 函数曲线如下: sigmoid激活函数，符合实际，当输入值很小时，输出接近于0；当输入值很大时，输出值接近于1。 sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流 阅读全文

posted @ 2018-08-16 14:27 Charlie_ODD 阅读(541) 评论(0) 推荐(0) 编辑