深度学习总结 - 随笔分类 - cltt

多GPU训练

摘要：要在具体用加载模型代码的文件里面加上import os os.environ["CUDA_VISIBLE_DEVICES"] = "1"才有效果阅读全文

posted @ 2021-09-09 15:23 cltt 阅读(25) 评论(0) 推荐(0) 编辑

计算模型参数量

摘要：参考： https://blog.csdn.net/weixin_43379058/article/details/108433197 tensorflow model = CPASSRnet(sess, args) num_params = 0 for variable in tf.trainab 阅读全文

posted @ 2021-04-23 18:38 cltt 阅读(275) 评论(0) 推荐(0) 编辑

CNN的参数量和计算量

摘要：参数量以参数个数为单位，要计算内存或显存的，用参数量乘以每个参数所占的字节数即可。计算设备需要多大的内存或显存。计算量以计算机做乘加次数为单位，即完成某个操作，需要执行多少次乘法和加法操作。网络训练的快慢计算量： FLOPS：注意全大写，是floating point operations pe 阅读全文

posted @ 2021-02-24 12:29 cltt 阅读(760) 评论(0) 推荐(0) 编辑

空洞卷积 Dilated Convolution

摘要：空洞卷积 dilated convolution 多了一个参数称之为 dilation rate 指的是kernel的间隔数量(e.g. 正常的 convolution 是 dilatation rate 1)。 k = k+(d-1)*(k-1) k:卷积核的尺寸，d:dilation rat 阅读全文

posted @ 2021-02-18 23:46 cltt 阅读(248) 评论(0) 推荐(0) 编辑

卷积神经网络bias的作用

摘要：参考： https://blog.csdn.net/mmww1994/article/details/81705991?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control 阅读全文

posted @ 2021-02-16 13:23 cltt 阅读(264) 评论(0) 推荐(0) 编辑

卷积网络提取图像特征

摘要：参考： https://www.jianshu.com/p/362b637e2242 https://blog.csdn.net/electech6/article/details/84584791 CNN由多个卷积层构成，每个卷积层包含多个卷积核，用这些卷积核从左向右、从上往下依次扫描整个图像，得阅读全文

posted @ 2020-11-23 16:03 cltt 阅读(908) 评论(0) 推荐(0) 编辑

Desubpixel 逆亚像素卷积

摘要：阅读全文

posted @ 2020-11-18 15:06 cltt 阅读(478) 评论(0) 推荐(0) 编辑

1*1卷积核的作用

摘要：1. 实现升维和降维 2.减少参数阅读全文

posted @ 2020-11-16 16:58 cltt 阅读(117) 评论(0) 推荐(0) 编辑

常规卷积, pointwise, depthwise

摘要：常规 pointwise depthwise 阅读全文

posted @ 2020-10-04 10:12 cltt 阅读(102) 评论(0) 推荐(0) 编辑

Deep Residual Learning

摘要：转载链接： https://www.cnblogs.com/jermmyhsu/p/8228007.html 阅读全文

posted @ 2020-09-14 22:10 cltt 阅读(83) 评论(0) 推荐(0) 编辑

Top-1准确率和Top-5准确率

摘要：那Top-1 Accuracy和Top-5 Accuracy是指什么呢？区别在哪呢？首先是TOP-5正确率，举个例子，比如你训练好了一个网络，你要用这个网络去进行图片分类任务，假设要分类的数目有50类，那么当我们进行测试时，输入一张图片，网络会依次输出这50个类别的概率，当所有图片测试完成后，那么阅读全文

posted @ 2020-09-09 16:03 cltt 阅读(2593) 评论(0) 推荐(0) 编辑

softmax函数

摘要：softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是 softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为(0, 阅读全文

posted @ 2020-09-08 09:08 cltt 阅读(426) 评论(0) 推荐(0) 编辑

机器学习基础概述

摘要：实用特征：可观察且可量化 L2损失：平方误差均方误差 (MSE) ：指的是每个样本的平均平方损失。要计算 MSE，请求出各个样本的所有平方损失之和，然后除以样本数量虽然 MSE 常用于机器学习，但它既不是唯一实用的损失函数，也不是适用于所有情形的最佳损失函数。阅读全文

posted @ 2020-08-30 21:59 cltt 阅读(100) 评论(0) 推荐(0) 编辑

nn.Linear nn.Conv2d nn.BatchNorm2d

摘要：conv,BN,Linear conv:https://blog.csdn.net/Strive_For_Future/article/details/83240232 1)conv2d.weight shape=[输出channels,输入channels,kernel_size,kernel_s 阅读全文

posted @ 2020-08-29 18:10 cltt 阅读(547) 评论(0) 推荐(0) 编辑

self参数 - init ()方法 super(Net, self).init()

摘要：self参数 self指的是实例Instance本身，在Python类中规定，函数的第一个参数是实例对象本身，并且约定俗成，把其名字写为self，也就是说，类中的方法的第一个参数一定要是self，而且不能省略。关于self有三点是很重要的： self指的是实例本身，而不是类 self可以用this 阅读全文

posted @ 2020-08-24 11:17 cltt 阅读(4186) 评论(0) 推荐(1) 编辑

深度学习基础--Bottleneck(瓶颈) Architectures

摘要：ResNet的核心内容之一，即“Deeper Bottleneck Architectures”（简称DBA），一言概之，bottleneck是一种特殊的残差结构。 Resnet论文里的原图如上（即Bottleneck V1 ），左图是普通的残差结构，右图是瓶颈结构。具体而言，block的输入和输出阅读全文

posted @ 2020-08-19 22:15 cltt 阅读(2889) 评论(0) 推荐(0) 编辑

深度学习线代知识

摘要：矩阵求偏导的部分知识资料原链接：https://blog.csdn.net/lirika_777/article/details/79646453 1.矩阵Y=F(x)对标量x求导 2.标量y对列向量x求导 x和a都是n*1的列向量 3.行向量y'对列向量x求导对角矩阵：是一个主对角线之外的元阅读全文

posted @ 2020-06-27 11:01 cltt 阅读(291) 评论(0) 推荐(0) 编辑

为什么CNN需要固定输入图像的尺寸

摘要：全连接层的输入是固定大小的，如果输入向量的维数不固定，那么全连接的权值参数的量也是不固定的，就会造成网络的动态变化，无法实现参数训练目的。全连接层的计算其实相当于输入的特征图数据矩阵和全连接层权值矩阵进行内积，在配置一个网络时，全连接层的参数维度是固定的，所以两个矩阵要能够进行内积，则输入的特征图阅读全文

posted @ 2020-05-28 09:13 cltt 阅读(1720) 评论(0) 推荐(0) 编辑

GPU服务器

摘要：机客云 https://www.jikecloud.net/ 注册送优惠券用jupyter notebook 进行深度学习上传数据大的数据集需要压缩在上传，上传后的文件在/data /data 用来中转数据，该目录容量巨大且数据不会丢失，但直接在它下面压缩或解压速度会非常慢。下面的目录可用阅读全文

posted @ 2020-05-02 22:05 cltt 阅读(402) 评论(0) 推荐(0) 编辑

FCN 全连接网络

摘要：CNN能够对图片进行分类，可是怎么样才能识别图片中特定部分的物体、通常CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量。以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务，因为它们最后都期望得到整个输入图像的阅读全文

posted @ 2020-04-08 12:05 cltt 阅读(1497) 评论(0) 推荐(0) 编辑

随笔分类 - 深度学习总结