摘要： 背景 2014年获得Imagenet比赛冠军，这个结构证明了用更多的卷积、更深的层次可以得到更好的效果。 所采用了的Inception结构，也成为很多后续模型的基础。 结构 简单的理解就是尺度更加丰富的特征有助于提高识别效果。 GoogleNet结构如下： 构成部件和alexnet差不多，不过中间有 阅读全文

摘要： 背景 2014年，VGG分别在定位和分类问题中获得了第一和第二名，在其他数据集上也实现了最好的结果。 结构 VGGNet探索了神经网络的深度与性能之间的关系，表明在结构相似的情况下，网络越深性能越好。 模型中大量使用3*3的卷积核的串联，构造出16到19层的网络。 2个3*3的卷积核的串联相当于5* 阅读全文

摘要： 背景 2009年，李飞飞和他的团队发表了ImageNet的论文，还附带了数据集。 2012年，多伦多大学的Geoffrey Hinton、Ilya Sutskever和Alex Krizhevsky提出了一种深度卷积神经网络结构：AlexNet，夺得了ImageNet冠军，成绩比当时的第二名高出41 阅读全文

摘要： 1.常量内存 当线程束中的所有线程都访问相同的只读数据时，使用常量内存将获得额外的性能提升。 常量内存大小限制为64k。 以下摘自hackairM的博文CUDA学习--内存处理之常量内存（4）。 常量内存其实只是全局内存的一种虚拟地址形式，并没有特殊保留的常量内存块。常量内存有两个特性，一个是高速缓 阅读全文

摘要： 在CUDA学习3 Max pooling （python c++ cuda）中有一个2D grid的CUDA实现，用时141ms。 以下为2D grid 2D blocks实现，耗时进一步降低到16ms。 线程索引计算方式如上，此处需要的循环为（N,M,PH,PH），因此配置如下。(PH*PH=14 阅读全文

摘要： 1. swig实现 在Python 调用 C/C++实现卷积中，尝试了python通过swig调用c提高性能的方法。 以下为pool2d im2col col2im三个函数在swig下的配置。 2.使用效果 只有pool2d提升很大，使用另两个函数速度不仅没有提升，反而有所下降。 3.内存 上面的s 阅读全文

摘要： 1.Python 在CNN4 参数优化中有一个CNN模型，其中的限速步是max pooling。 如下所示，Python中运行一个50*100*24*24的max pooling需要3秒。 2.C++ 采用c++，仅需16~30ms。 3.CUDA 在N=50时为16ms，N=500时为141ms（ 阅读全文

摘要： 1.修饰符 __device__ 标记的函数从一个在器件中执行的函数呼叫，在器件中执行 __global__ 表示该函数从一个在主机中执行的函数呼叫，在器件中执行 __host__表示在主机中呼叫，在主机中执行的函数 2.核函数 以下引用自青竹居士的博文CUDA核函数参数示意：Kernel<<<Dg 阅读全文

摘要： 1. Visual Studio 在Windows系统上安装vs（先）和cuda（后），就能在vs中新建cuda项目，新建之后可以直接运行。 如果下拉列表没有.NET 3.5，可能需要在Windows系统中启用它以正常运行示例。 2.CodeBlocks 点击菜单栏上的Settings --> Co 阅读全文

摘要： 精确线性搜索——黄金分割法 单峰函数 设f(x)是[a,b]上的一元函数，xm是f(x)在[a,b]上的极小值点，且对任意的x1,x2∈[a,b]，x1<x2，有： 1.当x2<xm时，f(x1)>f(x2)； 2.当x1>xm时，f(x1)<f(x2)。 则f(x)是单峰函数。 通过计算区间内两个 阅读全文