02 2022 档案
摘要：因为分布式计算也没法跑，也没代码，这个太复杂了，仍然是听理论即可。 GPU机器架构： 机器的效率是有一个比较明确的层级关系的，我们应该尽量在GPU之间做数据交换，实在不行通过CPU去内存做交换，但是应该尽量避免机器之间的数据交换。 能在本地做的尽量在本地做，尽可能减少机器的交互次数。 并行的时候，一
阅读全文
摘要：就是说，咱论文，咱实在是看的恶心的受不了，来看看李沐压压惊。 因为今天是多GPU训练，而我，作为一个一块GPU都没有的穷鬼，自然跑不了代码，同时，colab上也就只有一块GPU，所以记录一下听课的经验就行。 在从0实现中有一个特别有用的代码： scatter这个函数可以根据你的GPU信息，自动把数据
阅读全文
摘要：1原视频链接：https://www.bilibili.com/video/BV1As411377S/?spm_id_from=333.788.videocard.1 2此外还有一个带有一些对未来展望的视频：https://www.bilibili.com/video/BV1wA411p7FZ?fr
阅读全文
摘要：Digital Signal Procession（DSP）：数字信号处理芯片 为数字信号处理算法设计：点积、卷积、FFT 低功耗，高性能，比移动GPU快5倍，功耗还更低。 利用VLIW（vary long instruction word）非常长的指令，一条指令计算上百次累加或者乘法。 劣势： 编
阅读全文
摘要：PointNet论文精读：https://blog.csdn.net/cg129054036/article/details/105456002 3D点云深度学习：https://blog.csdn.net/kkxi123456/article/details/102731709 三维点云网络Poi
阅读全文
摘要：举个例子，为什么不能用CPU做深度学习？ 就拿Intel的i7来说，她每秒钟的运算是0.15TFLOPS，而NVIDIA的TitanX是12TFLOPS，两者差出80倍之多。 在实际中，你用GPU训练一个模型需要1小时的话，用CPU就需要80小时，你还玩个屁。 CPU： 左侧是集显区域，负责渲染图形
阅读全文
摘要：沐神：如果你在神经网络中要了解一个网络的话，一定就是要了解ResNet网络了。 在这里首先要思考一个问题： 显然不一定，就如左图所示，我们的模型从F1这么小个训练到了F6这么大个，可能的最优解却变得更差了，这就是所谓的一条路走到黑。 这里的计算涉及到泛函的知识，之前没接触过，感觉挺大一块，慢慢用到在
阅读全文
摘要：现在几乎所有的神经网络都在使用批量归一化这个层。 但是沐神讲的不太懂，可以看看对源paper的理解：https://blog.csdn.net/hjimce/article/details/50866313 背景： 在网络上，数据一般都在输入层，也就是在最下面，但是损失函数在最上面，所以上面的层训练
阅读全文
摘要：GoogLeNet是一个到目前为止仍然被广泛使用的网络。 GoogLeNet被认为是第一个卷积层超过一百层的网络。 GoogLeNet，其实就是Google的Net，本身就是Google的一批人做的，这里是玩了一个梗，将L大写，算是对LeNet的致敬。 Inception块： GoogLeNet最重
阅读全文
摘要：在这之前，在好好学一下1x1卷积层的知识： 其实就是改变维度和增加非线性性 https://blog.csdn.net/yaochunchu/article/details/95527760?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_rel
阅读全文
摘要：AlexNet比LeNet更深更大，带来了更好的精度，那么是不是再深一些再大一些，我们就会更好？ 更深更大，可以通过更多的全连接层（太贵）、更多的卷积层以及将卷积层组成块来实现。 VGG思想：将小块先组成大块，最后再去组合。 VGG块：用大量的3x3（一般再大效果会不好）的卷积层堆起来加一个池化层做
阅读全文
摘要：AlexNet：深度卷积神经网络，2012年左右提出。 在这之前，2000年左右开始，最火的机器学习算法是核方法（Learn with kernels）：用核函数，计算相关性。 机器学习，最核心最基础的一点，就是，能跑得动。 ImageNet的数据集： 可以看到和手写数字识别的数据集相比，样本和类数
阅读全文
摘要：LeNet卷积神经网络 所谓卷积Net，就是将空间信息不停地压缩，压缩，在压缩，最后将特征变得很小很小，通道数变得越来越多，最后甚至特征会变成1，通道数会变成上千，最后做全连接输出，这便是卷积神经网络的内核。 feature map:输出 LeNet： 输入是一个32x32的图，第一层卷积，大概是用
阅读全文
摘要：二维最大池化层： 返回窗口中的最大值。 池化层与卷积层类似，都具有填充和步幅； 没有可学习的参数； 在每个输入通道应用池化层以获得相应的输出通道； 输出通道数==输入通道数 ## 这里不用池化层做多通道融合的原因，是因为通道融合常常是卷积的任务。 除了最大池化层，还有一个平均池化层最常用。 池化层常
阅读全文
摘要：对于RGB这种多个输入通道的图： 每个通道都有一个卷积核，结果是所有通道卷积结果的和。 我们可以有多个输出通道： 但是到目前为止我们只用到单输出通道。 多输入和输出通道，可以用多个卷积核提取不同的特定的模式，最后加权，得到一个组合的模式识别。 深度学习其实就是先用简单的卷积核识别这些最简单的纹理，然
阅读全文
摘要：看到一句话，其实卷积层就是一种滤波器，放大它感兴趣的，缩小它不感兴趣的，很有道理。 二维卷积层的数学表达： 这里这个W其实就是kernel，是在这里通过这种方式学习出来的参数，表现出来的就是一个矩阵。b是偏差，通过广播机制作用给Y。 二维交叉和二维卷积，就差一个翻转的关系： 为了简单，我们把负号删掉
阅读全文
摘要：对于图片分类问题，利用MLP会出现模型太大（大到离谱）的问题。比如你分类猫狗的模型的参数比世界上所有的狗和猫都多，这显然是不对的。 在处理图片（找寻某一个目标的任务时）遵循两个原则： 1、平移不变性 2、局部性 “卷积就是一个特殊的全连接层” 在此之前，看王木头的视频：从“卷积”、到“图像卷积操作”
阅读全文
