随笔分类 - 机器学习
摘要：这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其
阅读全文
摘要：“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。 sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点： 1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。 2.其次，它能加快收敛速度。 Sigmoid函数
阅读全文
摘要：答案来自专栏：机器学习算法与自然语言处理 详解softmax函数以及相关求导过程 这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流。 softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多
阅读全文
摘要：https://blog.csdn.net/victoriaw/article/details/62416759 ASEF相关滤波器： Average of Synthetic Exact Filters David S. Bolme, Bruce A. Draper, J. Ross Beveri
阅读全文
摘要：https://www.leiphone.com/news/201709/AzBc9Sg44fs57hyY.html 推荐另一篇很好的总结：变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作。 这篇总结很专业，并且很好的回答了评论中的疑问： 这篇文章里是这么说的： 我觉得 Depthwise
阅读全文
摘要：https://blog.csdn.net/zijin0802034/article/details/77685438 Bounding-Box regression 最近一直看检测有关的Paper, 从rcnn， fast rcnn, faster rcnn, yolo, r-fcn, ssd，到
阅读全文
摘要：https://blog.csdn.net/a8039974/article/details/77592389 Faster RCNN github : https://github.com/rbgirshick/py-faster-rcnn Faster RCNN paper : https://
阅读全文
摘要：https://www.cnblogs.com/denny402/p/5074049.html solver算是caffe的核心的核心，它协调着整个模型的运作。caffe程序运行必带的一个参数就是solver配置文件。运行代码一般为 在Deep Learning中，往往loss function是非
阅读全文
摘要：这篇文章总结了一些与Python2.6相比Python3.0中的新特性.Python3是一个不向后兼容的版本，有了很多的改变，这些对于Python开发者来说是非常重要的，虽然多数人说Python3真正流行起来还需要一段时间，但是Python3确实有了很大的改进，现在也是时间来学习Python3了。在
阅读全文
摘要：极大似然估计 以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下： 贝叶斯决策 首先来看贝叶斯分类，我们都知道经典的贝叶斯公式： 其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而
阅读全文
摘要：转自:http://blog.csdn.net/xbinworld/article/details/50818803，其实内容更多的是百度文库里叫《SOM自组织特征映射神经网络》这篇文章上的，博主增加了一些理解。 本文详细介绍一下自组织神经网络概念和原理，并重点介绍一下自组织特征映射SOM网络。SO
阅读全文
摘要：1. Monte Carlo 积分 蒙特卡洛方法的思想很简单，就是用随机投点法来模拟不规则图形的面积。比如在1*1的矩形中，有一个不规则的图形，我们想要直接计算该图形的面积很困难，那怎么办呢？我们可以拿N个点，随机抛在1*1的矩形框中，数一下落入该不规则图形中的点的个数count，那么该不规则图形的
阅读全文
摘要：为什么我的眼里常含泪水？因为我有一个算法不会。为了节约点眼泪，今天我们就来介绍著名的Box–Muller变换，基于这种变换，我们便可以得到一个从均匀分布中得到正态分布采样的算法，本文也会详细解释其中蕴含的数学原理。 Box–Muller变换最初由 George E. P. Box 与 Mervin
阅读全文
摘要：1.引言 看了Stanford的Andrew Ng老师的机器学习公开课中关于Logistic Regression的讲解，然后又看了《机器学习实战》中的LogisticRegression部分，写下此篇学习笔记总结一下。 首先说一下我的感受，《机器学习实战》一书在介绍原理的同时将全部的算法用源代码实
阅读全文
摘要：一、反向传播的由来 在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词：输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设AN
阅读全文
摘要：作者：Noriko Oshima链接：https://www.zhihu.com/question/41252833/answer/108777563来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 熵的本质是香农信息量()的期望。 现有关于样本集的2个概率分布p和q，
阅读全文
摘要：如果你是使用 GPU 版 TensorFlow 的话，并且你想在显卡高占用率的情况下（比如玩游戏）训练模型，那你要注意在初始化 Session 的时候 为其分配固定数量的显存，否则可能会在开始训练的时候直接报错退出： 这时你需要用下面的方法创建 Session： 这里的 0.333就是占你总显存的份
阅读全文
摘要：他是曾经的迅雷创始人程浩，他现在专注科技领域的投资。今天他想跟大家聊聊人工智能领域的创业和创新，包括如何选择赛道、团队的搭配、以及如何应对巨头的挑战。 程浩同时也来到了36氪「开氪」专栏，讲述他这些年的商业经验。长按文末图片二维码，即可订阅，39.9元听“浩哥说”。 文 | 程浩 为此我从投资人的视
阅读全文
摘要：前提：安装的是GPU版本的tensorflow，CPU的直接安装就行了，不需要第一第二步 写这篇文章的时候，tensorflow最新版已经是1.3，网上的安装教程都是1.3之前的，cuDNN也都还是用的5.1，所以踩了坑，那就记录下来，让后面的朋友少踩点 1.下载安装CUDA8.0 https://
阅读全文
