随笔分类 - Deep Learning
摘要：背景 对于工业场景上的异常检测和定位任务, 由于零件的异常情况具有多样性和随机性, 所以很难用有监督的方式来解决; 目前用的最多的是用无监督的方式, 在训练过程中只使用正常样本进行训练, 目前无监督解决异常检测任务的三个趋势是基于重建的方法, 基于合成的方法以及基于嵌入的方法; 基于重建的方法: 对
阅读全文
摘要：1- Transformer模型是什么 Transformer模型是一个基于多头自注意力的序列到序列模型(seq2seq model)，整个网络结构可以分为编码器（encoder）和解码器（decoder）两部分。seq2seq模型输出序列的长度是不确定的。我们输入一个sequence后，先由enc
阅读全文
摘要：1- 注意力机制的作用 注意力机制是为了更好地捕捉关键信息, 提高网络的运行效率; 注意力机制的输入往往是一个矩阵, 经过一些操作后我们会得到一个权重矩阵, 这个权重矩阵会根据输入元素对结果的影响程度对其分配一个权重, 将权重矩阵和输入矩阵相乘后就得到了输出矩阵, 输出矩阵会放大关键元素的作用; 例
阅读全文
摘要：1- 卷积层 1.1- 卷积层的作用一 在说卷积层之前, 我想先说一下为什么会有卷积层; 前面几个博客提到的神经网络都是用矩阵乘法来建立输入和输出之间的关系, 如果有n个输入和m个输出, 那么就需要n*m个参数; 如果n和m很大并且有多个全连接层的话需要的参数数量是庞大的; 卷积层就是通过三个特性来
阅读全文
摘要：层与块 块是由若干个层组成, 在编程中我们一般用类表示块, 一般我们通过实例化nn.Sequential()来构建模型, 而有时我们需要自定义块; class MLP(nn.Module): # 用模型参数声明层。这里，我们声明两个全连接的层 def __init__(self): # 调用MLP的
阅读全文
摘要：多层感知机 多层感知机模型除了输入层和输出层, 它中间会有多个隐藏层, 看上去是许多个全连接层堆叠在一起; 这个构造的产生是因为线性模型可能会出错, 因为线性意味着单调, 但是有很多事情是违反单调性的, eg: 银行发放贷款时会评估对方偿还贷款的可能性, 一般来说工资越多, 偿还贷款的可能性就越大,
阅读全文
摘要：回归问题 回归是一种是一种监督学习方式，用于预测输入变量和输出变量之间的关系，等价于函数拟合，选择一条函数曲线使其更好的拟合已知数据且更好的预测未知数据。 当达到一定预测精度后，就可以用该拟合曲线来代表该自变量与因变量之间的关系，并且可以用他来处理更多的输入。 回归可以分为线性回归和逻辑回归。线性回
阅读全文
摘要：向量的属性 x = torch.arange(4) print(x) print(x[3]) print(len(x)) print(x.shape) tensor([0, 1, 2, 3]) tensor(3) 4 torch.Size([4]) 一些简单的属性 矩阵的转置 A = torch.a
阅读全文
摘要：创建, 操作文件 os.makedirs(os.path.join('..', 'data'), exist_ok=True) data_file = os.path.join('..', 'data', 'house_tiny.csv') with open(data_file, 'w') as
阅读全文
