Liang-ml

摘要： 1. Transformer的整体结构 如图所示为transformer的模型框架，transformer是一个seq2seq的模型，分为Encoder和Decoder两大部分。 2. Transformer Encoder部分 2.1 Encoding输入部分 首先将输入的文字进行Embeddin 阅读全文

摘要： tar –xvf file.tar //解压 tar包 tar -xzvf file.tar.gz //解压tar.gz tar -xjvf file.tar.bz2 //解压 tar.bz2 tar –xZvf file.tar.Z //解压tar.Z unrar e file.rar //解压r 阅读全文

摘要： import osfrom cairosvg import svg2png save_path = r'D:\learn\datadreams\label' file_path = r'D:\learn\datadreams\labels_svg' for e in os.scandir(file_ 阅读全文

摘要： Batch Normalization BN是最常用的一种归一化方式，以batch的维度做归一化，但这个维度并不是固定不变的，如训练和测试时一般不一样，训练的时候使用的是每个batch数据的方差和均值；BN训练时不使用全量训练集的均值和方差的原因是容易过拟合，不同batch的均值和方差存在差异，可以 阅读全文

摘要： 作者：肥波喇齐链接：https://www.zhihu.com/question/66782101/answer/579393790来源：知乎 两者的相同之处： nn.Xxx和nn.functional.xxx的实际功能是相同的，即nn.Conv2d和nn.functional.conv2d 都是进 阅读全文

摘要： 可以这样来看待注意力机制：将Source中的构成元素想象成是有一系列的<key,value>数据对构成，此时对于Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention 阅读全文

摘要： 在模型的训练过程中，如果epoch设置过少，网络有可能发生欠拟合；如果epoch设置过多，网络可能发生过拟合。 早停法旨在解决epoch数量需要手动设置的问题。它也可以被视为一种能够避免网络发生过拟合的正则化方法（与L1/L2权重衰减和丢弃法类似）。 根本原因就是因为继续训练会导致测试集上的准确率下 阅读全文

摘要： 广播机制，就是将不同维度、不同长度的Tensor，在满足一定规则的前提下能够自动进行长度和维度的扩充，从而使不同维度、不同长度的Tensor之间正确的进行运算。 自动广播规则：两个tensor能够进行自动广播需要满足以下几个规则： 每个维度的大小都相等 每个Tensor至少有一个维度(不为空，如 ( 阅读全文

摘要： 由第二步可以得到三个特征层，分别为(N,13,13,255)、(N,26,26,255)、(N,52,52,255)，每一个有效特征层将整个图片分成与其长宽对应的网格，如(N,13,13,255)的特征层就是将整个图像分成13x13个网格； 然后从每个网格中心建立多个先验框，这些框是网络预先设定好的 阅读全文

摘要： from collections import OrderedDict import torch import torch.nn as nn from nets.darknet import darknet53 yolov3的结构框图 首先是最后一层输出的特征图，经过五次卷积处理后，作为yolo预测 阅读全文