12 2021 档案
摘要：opencv的图像读取存在限制，如下 支持的最大图像宽度 2^20 支持的最大图像高度2^20 支持的最大像素数目2^30 可以通过Pillow库对图像进行读取 import numpy as np import cv2 from PIL import Image Image.MAX_IMAGE_P
阅读全文
摘要：sort()函数：用于对列表进行排序，可通过指定参数来设定排序方式。 函数用法如下: list.sort(key = None, reverse = False) key -- 可指定列表中的一个元素进行排序 reverse -- 排序规则 reverse = True 降序 reverse = F
阅读全文
摘要：Scaled Dot Product Attention: 实现如图的操作，令Q乘以K的转置，如果需要mask，乘以Mask矩阵，再做Softmax操作，得到注意力权重矩阵，最后乘以V获得self-attention的输出。 class ScaledDotProductAttention(nn.Mo
阅读全文
摘要：__getitem__(self，key): 把类中的属性定义为序列，可以使用__getitem__()函数输出序列属性中的某个元素，这个方法返回与指定键相关联的值。对序列来说，建是0～n-1的整数，其中n为序列的长度。对映射来说，键可以是任何类型。(比如字典) 如果在类中定义了__getitem_
阅读全文
摘要：在存在大量标注错误的现实世界数据集中，小容量模型可能比大容量模型更有用。举个例子，从基于原始给定标签的测试准确率来看，NasNet 似乎要优于 ResNet-18，但如果用标签修正之后的测试集进行测试，NasNet 的准确率其实比不上 ResNet-18。由于后者在现实中更为重要，在这种情况下，我们
阅读全文
摘要：交叉验证是指将数据集划分成n分，按照一定比例每次随机取出a份作为训练集，n-a份作为验证集，对模型进行训练，找到合适的模型参数，防止过拟合。 但在一般的深度学习训练中，不采用这种方法，通常是在数据集较小且训练资源充足的情况下才使用。
阅读全文
摘要：消融实验简单来说就是控制变量法，当你提出多个思路提升某个模型时，为了验证这几个思路的有效性和起作用方式，就要采用消融实验。 比如给模型加入A和B两种改进方案，模型的效果得到了提升，为了验证A和B两种方案是否都起作用，就要做如下实验： 1. 给模型加入A方案，看效果 2. 给模型加入B方案，看效果 3
阅读全文
摘要：1. Transformer的整体结构 如图所示为transformer的模型框架，transformer是一个seq2seq的模型，分为Encoder和Decoder两大部分。 2. Transformer Encoder部分 2.1 Encoding输入部分 首先将输入的文字进行Embeddin
阅读全文
摘要：tar –xvf file.tar //解压 tar包 tar -xzvf file.tar.gz //解压tar.gz tar -xjvf file.tar.bz2 //解压 tar.bz2 tar –xZvf file.tar.Z //解压tar.Z unrar e file.rar //解压r
阅读全文
摘要：import osfrom cairosvg import svg2png save_path = r'D:\learn\datadreams\label' file_path = r'D:\learn\datadreams\labels_svg' for e in os.scandir(file_
阅读全文
摘要：Batch Normalization BN是最常用的一种归一化方式，以batch的维度做归一化，但这个维度并不是固定不变的，如训练和测试时一般不一样，训练的时候使用的是每个batch数据的方差和均值；BN训练时不使用全量训练集的均值和方差的原因是容易过拟合，不同batch的均值和方差存在差异，可以
阅读全文
摘要：作者：肥波喇齐链接：https://www.zhihu.com/question/66782101/answer/579393790来源：知乎 两者的相同之处： nn.Xxx和nn.functional.xxx的实际功能是相同的，即nn.Conv2d和nn.functional.conv2d 都是进
阅读全文
摘要：可以这样来看待注意力机制：将Source中的构成元素想象成是有一系列的<key,value>数据对构成，此时对于Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention
阅读全文
摘要：在模型的训练过程中，如果epoch设置过少，网络有可能发生欠拟合；如果epoch设置过多，网络可能发生过拟合。 早停法旨在解决epoch数量需要手动设置的问题。它也可以被视为一种能够避免网络发生过拟合的正则化方法（与L1/L2权重衰减和丢弃法类似）。 根本原因就是因为继续训练会导致测试集上的准确率下
阅读全文
