hyserendipity

2018年12月9日

摘要： 2018-12-09 19:07:29 深层的深度学习网络存在梯度消失和梯度爆炸等问题导致难以进行训练。 ResNet提出了Skip-Connection来将某一层的输入直接传递到更深的层，通过这种方式可以训练得到更深的神经网络。为什么这个是有效的呢？理论上，更深的模型的训练误差不应当大于浅层模阅读全文

posted @ 2018-12-09 19:37 hyserendipity 阅读(257) 评论(0) 推荐(0) 编辑

概率-拒绝采样 Rejection Sampling

摘要： 2018-12-09 16:40:30 一、使用Rand7()来生成Rand10() 问题描述：问题求解：这个问题字节跳动算法岗面试有问到类似的，有rand6，求rand8，我想了好久，最后给了一个特殊解法，就进行三次，每次取前三个数和后三个数的概率相等为1 / 2，那么最后需要得到的概率是1 阅读全文

posted @ 2018-12-09 18:21 hyserendipity 阅读(1240) 评论(0) 推荐(0) 编辑

2018年12月8日

不光是查找值! "二分搜索"

摘要： 2018-11-14 18:14:15 二分搜索法，是通过不断缩小解的可能存在范围，从而求得问题最优解的方法。在程序设计竞赛中，经常会看到二分搜索法和其他算法相结合的题目。接下来，给大家介绍几种经典的二分搜索法的问题。一、从有序数组中查找某个值 1、lowerBound 问题描述：给定长度为n的阅读全文

posted @ 2018-12-08 15:57 hyserendipity 阅读(380) 评论(0) 推荐(0) 编辑

2018年12月7日

卷积神经网络 CNN

摘要： 2018-12-07 16:54:28 全连接神经网络之所以不太适合图像识别任务，主要有以下几个方面的问题：参数数量太多考虑一个输入1000*1000像素的图片(一百万像素，现在已经不能算大图了)，输入层有1000*1000=100万节点。假设第一个隐藏层有100个节点(这个数量并不多)，那么仅阅读全文

posted @ 2018-12-07 20:27 hyserendipity 阅读(291) 评论(0) 推荐(0) 编辑

优化算法

摘要： 2018-12-07 14:41:57 一、SGD 和 BGD BGD：又称Vanilla梯度下降法，用运行整个训练集（一个epoch）来做一次更新。 SGD：运行一个或者几个batch（Minibatch Stochastic gradient Descent）时来更新一次更新。 BGD： SGD 阅读全文

posted @ 2018-12-07 16:10 hyserendipity 阅读(260) 评论(0) 推荐(0) 编辑

2018年12月6日

评价分类器的好坏

摘要： 2018-12-06 17:05:27 这里以二分类举例，首先引入混淆矩阵的概念：混淆矩阵是一个2×2的方阵，用于展示分类器预测的结果——真正（true positive），假负（false negative）、假正（false positive）及假负（false negative）下面介绍一阅读全文

posted @ 2018-12-06 21:05 hyserendipity 阅读(1180) 评论(0) 推荐(0) 编辑

梯度消失 / 梯度爆炸以及Xavier初始化

摘要： 2018-12-06 16:25:08 首先我们先来看一下求解梯度的公式，以下面三层的网络为例：如果w初始化为大于1的数字，在深层神经网络计算梯度的时候就会出现梯度爆炸的现象；如果w初始化为小于1的数字，在深层神经网络计算梯度的时候就会出现梯度消失的现象；那么该如何初始化权重值呢? 我们希望的阅读全文

posted @ 2018-12-06 16:41 hyserendipity 阅读(424) 评论(0) 推荐(0) 编辑

Dropout

摘要： 2018-12-06 15:01:54 Dropout：临时的抹去随机的神经元及其进行的关联计算。如下图所示 : Dropout的实现：Inverted Dropout 训练：假设每个神经元以keep_prop的概率被保留预测：keep_prop设置为1，也就是不使用drop_out Dropou 阅读全文

posted @ 2018-12-06 15:50 hyserendipity 阅读(835) 评论(0) 推荐(0) 编辑

2018年12月5日

常见的目标检测算法介绍

摘要： 2018-12-05 21:12:15 一、滑动窗口目标检测首先通过卷积神经网络训练一个分类器，然后使用不同尺度的窗口去裁剪输入图片进行分类。我们期望的结果是通过不同的窗口可以将需要检测的物体完全覆盖到，此时分类器输出的置信值会大于阈值，这个时候我们就认为已经成功检测到一个物体，并且得到了其位置信阅读全文

posted @ 2018-12-05 22:48 hyserendipity 阅读(11042) 评论(0) 推荐(0) 编辑

深度学习图片卷积输出大小计算公式

摘要： 2018-12-05 22:09:03 先定义几个参数输入图片大小 W×W Filter大小 F×F 步长 S padding的像素数 P 于是我们可以得出： N = (W − F + 2P) / S + 1 输出图片大小为 N×N。阅读全文

posted @ 2018-12-05 22:10 hyserendipity 阅读(3699) 评论(0) 推荐(0) 编辑

公告