摘要： 一、指数加权平均算法介绍 引言 在了解指数加权平均之前，首先我们需要回顾一下求平均数的相关概念，从而进行进一步理解与引导。 如何求平均数 平均数求法数学公式： 现在举例说明：比如我们现在有100天的温度值，要求这100天的平均温度值（24，25，24，26，34，28，33，33，34，35.... 阅读全文

摘要： 再进行Mini-batch 梯度下降法学习之前，我们首先对梯度下降法进行理解 一、梯度下降法（Gradient Descent） 优化思想：用当前位置的负梯度方向作为搜索方向，亦即为当前位置下降最快的方向，也称“最速下降法”。越接近目标值时，步长越小，下降越慢。 首先来看看梯度下降的一个直观的解释。 阅读全文

摘要： 什么为梯度检验？？？ 梯度检验可以作为检验神经网络是否有bug的一种方法，现神经网络的反向传播算法含有许多细节，在编程实现中很容易出现一些微妙的bug，但往往这些bug并不会影响你的程序运行，而且你的损失函数看样子也在不断变小。但最终，你的程序得出的结果误差将会比那些无bug的程序高出一个数量级，最 阅读全文

摘要： 为什么进行权重初始化？？？ 在深度学习中，神经网络的权重初始化方法对（weight initialization）对模型的收敛速度和性能有着至关重要的影响。神经网络其实就是对权重参数w的不停迭代更新，以期达到较好的性能。在深度神经网络中，随着层数的增多，我们在梯度下降的过程中，极易出现梯度消失或者梯 阅读全文

摘要： 梯度消失经常出现在：深层网络、采用了不合适的损失函数，比如sigmoid。 梯度爆炸一般出现在：深层网络、权值初始化值太大的情况下。 1、深层网络角度解释梯度消失、梯度爆炸的原因： 对激活函数进行求导，如果求导的每个部分部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度 阅读全文

摘要： 归一化方法：把数变为（0，1）之间的小数，主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速，应该归到数字信号处理范畴之内。归一化输入分为两个步骤： 第一步：subtract out or zero out the mean 零均值化，公式如下： 第二步：normalize 阅读全文

摘要： 一、数据扩增 接下来将介绍常用的6类数据扩增方式，包括裁剪、平移、改变亮度、加入噪声、旋转角度以及镜像。 1、裁剪（需要改变bbox）：裁剪后的图片需要包含所有的框，否则会对图像的原始标注造成破坏。 def _crop_img_bboxes(self,img,bboxes): ''' 裁剪后图片要包 阅读全文

摘要： 首先我们理解一下，什么叫做正则化？ 目的角度：防止过拟合 简单来说，正则化是一种为了减小测试误差的行为(有时候会增加训练误差)。我们在构造机器学习模型时，最终目的是让模型在面对新数据的时候，可以有很好的表现。当你用比较复杂的模型比如神经网络，去拟合数据时，很容易出现过拟合现象(训练集表现很好，测试集 阅读全文

摘要： 偏差与方差主要与两个因素有关：训练集误差（train set error）、验证集误差（dev set error） 接下来举例说明： 1、高方差（数据过拟合）：假设训练集误差为1%（很小）、验证集误差为16%（较大），说明训练时数据过拟合，在某种程度上，验证集并没有充分利用交叉验证集的作用，所以验 阅读全文

摘要： 在配置训练、验证和测试数据集的过程中做出正确决策会在很大程度上帮助大家创建高效的神经网络。训练神经网络时，我们需要做出很多决策，例如： 神经网络分多少层 每层含有多少个隐藏单元 学习速率是多少 各层采用哪些激活函数 在配置训练、验证、和测试数据集的过程中做出正确的决策会更好地创建高效的神经网络，所以 阅读全文