Liang-ml

摘要： Pytorch的学习率调整策略通过torch.optim.lr_scheduler实现。 1. 等间隔调整学习率StepLR 等间隔调整学习率，通过设定调整间隔和倍率，阶段调整学习率 torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamm 阅读全文

摘要： 池化层的作用一是减少冗余的信息量，二是保留图像的特征信息，同时降低参数量。 特征提取的误差主要来自两个方面： 邻域大小受限造成的估计值方差增大； 卷积层参数误差造成估计均值的偏移。 Max Pooling: 更多的保留图像的纹理特征，选出识别度高的特征，能够减少第二种误差，一般来说在模型中间使用，用 阅读全文

摘要： 交叉验证的思想 交叉验证主要用于防止模型过于复杂而引起过拟合，是一种评价训练数据的数据集泛化能力的统计方法。其基本思想是将原始数据进行划分，分成训练集和测试集，训练集对模型进行训练，测试集对模型进行测试，以此来作为模型的评价指标。 K折交叉验证 将原始数据随即划分为K份，每次选择K-1份作为训练集， 阅读全文

摘要： opencv的图像读取存在限制，如下 支持的最大图像宽度 2^20 支持的最大图像高度2^20 支持的最大像素数目2^30 可以通过Pillow库对图像进行读取 import numpy as np import cv2 from PIL import Image Image.MAX_IMAGE_P 阅读全文

摘要： sort()函数：用于对列表进行排序，可通过指定参数来设定排序方式。 函数用法如下: list.sort(key = None, reverse = False) key -- 可指定列表中的一个元素进行排序 reverse -- 排序规则 reverse = True 降序 reverse = F 阅读全文

摘要： Scaled Dot Product Attention: 实现如图的操作，令Q乘以K的转置，如果需要mask，乘以Mask矩阵，再做Softmax操作，得到注意力权重矩阵，最后乘以V获得self-attention的输出。 class ScaledDotProductAttention(nn.Mo 阅读全文

摘要： __getitem__(self，key): 把类中的属性定义为序列，可以使用__getitem__()函数输出序列属性中的某个元素，这个方法返回与指定键相关联的值。对序列来说，建是0～n-1的整数，其中n为序列的长度。对映射来说，键可以是任何类型。(比如字典) 如果在类中定义了__getitem_ 阅读全文

摘要： 在存在大量标注错误的现实世界数据集中，小容量模型可能比大容量模型更有用。举个例子，从基于原始给定标签的测试准确率来看，NasNet 似乎要优于 ResNet-18，但如果用标签修正之后的测试集进行测试，NasNet 的准确率其实比不上 ResNet-18。由于后者在现实中更为重要，在这种情况下，我们 阅读全文

摘要： 交叉验证是指将数据集划分成n分，按照一定比例每次随机取出a份作为训练集，n-a份作为验证集，对模型进行训练，找到合适的模型参数，防止过拟合。 但在一般的深度学习训练中，不采用这种方法，通常是在数据集较小且训练资源充足的情况下才使用。 阅读全文

摘要： 消融实验简单来说就是控制变量法，当你提出多个思路提升某个模型时，为了验证这几个思路的有效性和起作用方式，就要采用消融实验。 比如给模型加入A和B两种改进方案，模型的效果得到了提升，为了验证A和B两种方案是否都起作用，就要做如下实验： 1. 给模型加入A方案，看效果 2. 给模型加入B方案，看效果 3 阅读全文