随笔分类 - 深度学习
摘要：YOLO 算法 假设你要训练一个算法去检测三种对象，行人、汽车和摩托车，你还需要显式指定完整的背景类别。这里有 3 个类别标签，如果你要用两个 anchor box，那么输出 y 就是 3×3×2×8，其中 3×3 表示 3×3 个网格，2 是 anchor box 的数量，8 是向量维度，你可以将
阅读全文
摘要：Anchor Boxes 如果我们想让一个格子检测出多个对象，我们怎么做呢？ 假设你有这样一张图片，对于这个例子，我们继续使用 3×3 网格，注意行人的中点和汽车的中点几乎在同一个地方，两者都落入到同一个格子中。所以对于那个格子，如果 y 输出这个向量，对于检测这三个类别，行人、汽车和摩托车，它将无
阅读全文
摘要：1 交并比（Intersection over union） 如何判断对象检测算法运作良好呢？并交比函数，可以用来评价对象检测算法。在对象检测任务中，你希望能够同时定位对象，所以如果实际边界框是这样的，你的算法给出这个紫色的边界框，那么这个结果是好还是坏？所以交并比（loU）函数做的是计算两个边界框
阅读全文
摘要：1 滑动窗口的卷积实现（Convolutional implementation of sliding windows） 为了构建滑动窗口的卷积应用，首先要知道如何把神经网络的全连接层转化成卷积层。假设对象检测算法输入一个 14×14×3 的图像，过滤器大小为 5×5，数量是 16，14×14×3
阅读全文
摘要：1 特征点检测（Landmark detection） 假设你正在构建一个人脸识别应用，出于某种原因，你希望算法可以给出眼角的具体位置。眼角坐标为(x, y)，你可以让神经网络的最后一层多输出两个数字lx和ly，作为眼角的坐标值。如果你想知道两只眼睛的四个眼角的具体位置，那么从左到右，依次用四个特征
阅读全文
摘要：目标定位（Object localization） 图片分类任务我们已经熟悉了，就是算法遍历图片，判断其中的对象是不是汽车，这就是图片分类。定位分类问题，这意味着，我们不仅要用算法判断图片中是不是一辆汽车，还要在图片中标记出它的位置，用边框或红色方框把汽车圈起来，这就是定位分类问题。其中“定位”的意
阅读全文
摘要：数据增强（Data augmentation） 或许最简单的数据增强方法就是垂直镜像对称，假如，训练集中有这张图片，然后将其翻转得到右边的图像，实际是做了一个镜像对称，如果镜像操作保留了图像中想识别的物体的前提下，这是个很实用的数据增强技巧。 另一个经常使用的技巧是随机裁剪，给定一个数据集，然后开始
阅读全文
摘要：1.1 1×1 卷积（Network in Network and 1×1 convolutions） 输入一张 6×6×1 的图片，然后对它做卷积，起过滤器大小为 1×1×1，结果相当于把这个图片乘以数字 2，但这仅仅是对于6×6×1 的一个通道图片来说，1×1 卷积效果不佳。如果是一张 6×6×
阅读全文
摘要：残差网络(ResNets)(Residual Networks (ResNets)) 非常非常深的神经网络是很难训练的，因为存在梯度消失和梯度爆炸问题。习跳跃连接（Skip connection），它可以从某一层网络层获取激活，然后迅速反馈给另外一层，甚至是神经网络的更深层。我们可以利用跳跃连接构建
阅读全文
摘要：经典网络（Classic networks） 经典的神经网络结构，分别是 LeNet-5、AlexNet 和 VGGNet。 第一个是 LeNet-5 的网络结构，假设你有一张 32×32×1 的图片，LeNet-5 可以识别图中的手写数字，比如像这样手写数字 7，LeNet-5 是针对灰度图片训练
阅读全文
摘要：1 池化层（Pooling layers） 除了卷积层，卷积网络也经常使用池化层来缩减模型的大小，提高计算速度，同时提高所提取特征的鲁棒性。假如输入是一个 4×4 矩阵，用到的池化类型是最大池化（max pooling），执行最大池化的树池是一个 2×2 矩阵，即f=2，步幅是 2，即s = 2，执
阅读全文
摘要：1 单层卷积网络（One layer of a convolutional network） 假设经过两次卷积运算，最终各自形成一个卷积神经网络层，然后增加偏差（它是一个实数），通过线性函数（ Python 的广播机制）给这 16 个元素都加上同一偏差，然后应用非线性激活函数 ReLU，输出结果是一
阅读全文
摘要：1 Padding 为了构建深度神经网络，需要学会使用的一个基本的卷积操作就是 padding，那么它是如何工作的呢？ 上一节的例题可以看到，如果你用一个 3×3 的过滤器卷积一个 6×6 的图像，你最后会得到一个 4×4 的输出，也就是一个 4×4 矩阵。那是因为你的 3×3 过滤器在 6×6 矩
阅读全文
摘要：1 边缘检测（Edge detection） 卷积运算是卷积神经网络最基本的组成部分，看一个例子，这是一个 6×6 的灰度图像，因为是灰度图像，所以它是 6×6×1 的矩阵，而不是 6×6×3 的，因为没有 RGB 三通道，为了检测图像中的垂直边缘，可以构造一个 3×3矩阵，像这样，它被称为过滤器，
阅读全文
摘要：1 迁移学习（Transfer learning） 有的时候神经网络可以从一个任务中习得知识，并将这些知识应用到另一个独立的任务中，例如，也许你已经训练好一个神经网络，能够识别像猫这样的对象，然后使用那些知识，或者部分习得的知识去帮助您更好地阅读 x 射线扫描图，这就是所谓的迁移学习。 具体来说，在
阅读全文
摘要：1.2 Softmax 回归（Softmax regression） 有一种 logistic回归的一般形式，叫做 Softmax 回归，能让你在试图识别某一分类时做出预测，或者说是多种分类中的一个.假设你不单需要识别猫，而是想识别猫，狗和小鸡，我把猫加做类 1，狗为类 2，小鸡是类 3，如果不属于
阅读全文
摘要：1.1 归一化网络的激活函数（Normalizing activations in a network） 在深度学习兴起后，最重要的一个思想是它的一种算法，叫做 Batch 归一化，Batch归一化会使你的参数搜索问题变得很容易，使神经网络对超参数的选择更加稳定，超参数的范围会更加庞大，工作效果也很
阅读全文
摘要：1.1 动量梯度下降法（Gradient descent with Momentum） 优化成本函数J，还有一种算法叫做 Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重。 使用动量梯度下降法
阅读全文
摘要：指数加权平均，在统计中也叫做指数加权移动平均。 这里举一个温度的例子，首先使v0 = 0，需要使用 0.9 的加权数乘以前一天温度数值加上当日温度的0.1 倍，即v1 = 0.9v0 + 0.1θ1，所以这里是第一天的温度值。第二天，又可以获得一个加权平均数，0.9 乘以之前的值加上当日的温度 0.
阅读全文
摘要：1 Mini-batch 梯度下降（Mini-batch gradient descent） 向量化能够让你相对较快地处理所有m个样本。如果m很大的话，处理速度仍然缓慢，如果m是 500 万或 5000 万或者更大的一个数，在对整个训练集执行梯度下降法时，你要做的是，你必须处理整个训练集，然后才能进
阅读全文
