深度学习中验证集和测试集的作用
摘要：1. 测试集的作用 In deep learning, what is the difference between the verification set and the test set, and what are their roles?在深度学习中，验证集和测试集有什么区别，它们的作用是什
阅读全文
self attention 原理解释
摘要：1. Q、K、V的实际含义 Explain the principle of self attention, give the corresponding formula, and explain the actual meaning of Q, K, V解释self-attention的原理，给出
阅读全文
drop out 原理小结
摘要：he concept of dropout and the scaling factor used during training and evaluation can be a bit confusing, so let's clarify the process and its implicat
阅读全文
pytorch 模型参数的保存与加载
摘要：pytorch 保存与加载模型参数的最主要的三个函数 torch.save: 将序列化的对象存储到硬盘中.此函数使用Python的pickle实用程序进行序列化. 对于数据类型都可以进行序列化存储, 模型, 张量, 以及字典, 等各种数据对象都可以使用该函数存储. torch.load: 该函数使用
阅读全文
深度学习网络模型中层的修改，删除与添加
摘要：1. 权重参数保存的两种方式 第一种： 将网络模型和对应的参数保存在一起； 第二种： 模型和参数分离， 单独的保存模型的权重参数， 方式二官方推荐， 方便于网络模型修改后， 提取出对应层的参数权重； 1.1 模型和参数保存在一起 保存时： net123 = module.CustomModel()
阅读全文
filter 与 kernel ,卷积的理解
摘要：在本文中，我尽量使用简单明了的方式向大家解释深度学习中常用的几种卷积，希望能够帮助你建立学习体系，并为你的研究提供参考。 Convolution VS Cross-correlation 卷积是一项在信号处理、视觉处理或者其他工程/科学领域中应用广泛的技术。在深度学习中，有一种模型架构，叫做Conv
阅读全文
卷积神经网络中的Separable Convolution
摘要：卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数，应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件，显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable Convolution就是降低卷积
阅读全文
深度学习中softmax交叉熵损失函数的理解
摘要：1. softmax层的作用通过神经网络解决多分类问题时，最常用的一种方式就是在最后一层设置n个输出节点，无论在浅层神经网络还是在CNN中都是如此，比如，在AlexNet中最后的输出层有1000个节点，即便是ResNet取消了全连接层，但1000个节点的输出层还在。 一般情况下，最后一个输出层的节点
阅读全文
易懂的softmax交叉熵损失函数求导
摘要：来写一个softmax求导的推导过程，不仅可以给自己理清思路，还可以造福大众，岂不美哉~ softmax经常被添加在分类任务的神经网络中的输出层，神经网络的反向传播中关键的步骤就是求导，从这个过程也可以更深刻地理解反向传播的过程，还可以对梯度传播的问题有更多的思考。 softmax 函数 softm
阅读全文
卷积神经网络CNN总结
摘要：卷积神经网络CNN总结 从神经网络到卷积神经网络（CNN）我们知道神经网络的结构是这样的： 那卷积神经网络跟它是什么关系呢？其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。 卷积神经网络的层级结构 • 数据输入层
阅读全文
卷积网络中的通道(Channel)和特征图
摘要：载自：https://www.jianshu.com/p/bf8749e15566 今天介绍卷积网络中一个很重要的概念，通道（Channel），也有叫特征图（feature map）的。 首先，之前的文章也提到过了，卷积网络中主要有两个操作，一个是卷积(Convolution)，一个是池化(Pool
阅读全文
深度学习中的激活函数
摘要：本文从激活函数的背景知识开始介绍，重点讲解了不同类型的非线性激活函数：Sigmoid、Tanh、ReLU、LReLU、PReLU、Swish，并详细介绍了这些函数的优缺点。 本文介绍了多种激活函数，并且对比了激活函数的优劣。 1. 什么是激活函数？ 生物神经网络启发了人工神经网络的发展。但是，ANN
阅读全文
图像中的通道
摘要：链接：https://www.zhihu.com/question/21849710/answer/19529410来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 数字图像的本质是一个多维矩阵我们先为以一个RGB色彩空间的400*300的图片为例： 这幅图的本质是一个
阅读全文
CNN中：卷积的输入与输出
摘要：卷积层尺寸的计算原理 输入矩阵格式：四个维度，依次为：样本数、图像高度、图像宽度、图像通道数 输出矩阵格式：与输出矩阵的维度顺序和含义相同，但是后三个维度（图像高度、图像宽度、图像通道数）的尺寸发生变化。 权重矩阵（卷积核）格式：同样是四个维度，但维度的含义与上面两者都不同，为：卷积核高度、卷积核宽
阅读全文
