随笔分类 - deep learn
摘要：CNN(卷积神经网络)的误差反传(error back propagation)中有一个非常关键的的步骤就是将某个卷积(Convolve)层的误差传到前一层的池化(Pool)层上，因为在CNN中是2D反传，与传统神经网络中的1D反传有点细节上的不同，下面通过一个简单的例子来详细分解一下这个反传步骤。 假设在一个CNN网络中，P代表某个池化层，K代表卷积核，C代表卷基层，首先来看一下前向(feed ...
阅读全文
摘要：在卷积的定义中为什么函数g(τ)要先翻转为g(-τ)再平移为g(x-τ)而不是直接记作g(τ-x)这样做有什么好处么？ 我知道问一个概念的定义就好像问"妈妈"为什么要叫"妈妈"一样。但我始终觉得这样的定义有些别扭。想知道这样做背后的意义。 不要试图直接从公式上去思考"翻转"的意义，回到问题的起源，你就会豁然开朗了。 打个比方，往平静的水面里面扔石头。我们把水面的反应看作是一种冲击响应。水面在t=0...
阅读全文
摘要：搞明白了卷积网络中所谓deconv到底是个什么东西后，不写下来怕又忘记，根据参考资料，加上我自己的理解，记录在这篇博客里。 先来规范表达 为了方便理解，本文出现的举例情况都是2D矩阵卷积，卷积输入和核形状都为正方形，x和y轴方向的padding相同，stride也相同。 记号： i,o,k,p,s i,o,k,p,s 分别表示：卷积/反卷积的输入大小 input size input size...
阅读全文
摘要：前言 编写 CUDA 程序真心不是个简单的事儿，调试也不方便，很费时。那么有没有一些现成的 CUDA 库来调用呢？ 答案是有的，如 CUBLAS 就是 CUDA 专门用来解决线性代数运算的库。 本文将大致介绍如何使用 CUBLAS 库，同时演示一个使用 CUBLAS 库进行矩阵乘法的例子。 CUBL
阅读全文
摘要：CUDA 是 NVIDIA 的 GPGPU 模型，它使用 C 语言为基础，可以直接以大多数人熟悉的 C 语言，写出在显示芯片上执行的程序，而不需要去学习特定的显示芯片的指令或是特殊的结构。” 编者注：NVIDIA的GeFoce 8800GTX发布后，它的通用计算架构CUDA经过一年多的推广后，现在已
阅读全文
摘要：1 前言 在dl中，有一个很重要的概念，就是卷积神经网络CNN，基本是入门dl必须搞懂的东西。本文基本根据斯坦福的机器学习公开课、cs231n、与七月在线寒老师讲的5月dl班第4次课CNN与常用框架视频所写，是一篇课程笔记。本只是想把重点放在其卷积计算具体是怎么计算怎么操作的，但后面不断补充，故写成
阅读全文
