随笔分类 - 深度学习
摘要：1、过拟合问题 1、数据增强 对图像进行旋转、翻转、裁剪等操作，创造出更多样的数据样本。 2、正则化 凡是能解决模型泛化误差而不是训练误差的方法，都被称为正则化。模型的泛化误差主要是由模型过拟合引起的，所以正则化的各种方法用于解决模型过拟合的问题。 L1和L2正则化：在损失函数中加上惩罚项，强制模型
阅读全文
摘要：https://jalammar.github.io/illustrated-transformer/ X就是输入的向量 ，第一步就是创建三个输入向量qkv 第二步是计算分数：分数决定了对输入句子的其他部分的关注程度。 分数是通过查询向量与我们要评分的各个单词的键向量的点积来计算的。因此，如果我们处
阅读全文
摘要：非极大值抑制 ** 画出框的，代表这个框内部预测出东西了，但是这些框可能是重合的，所以要把一些画的歪的框去除掉，用nms方法** 选取这些框中scores最大的哪一个，记为box_best，并保留它计算box_best与其余的box的IOU如果其IOU>0.5了，那么就舍弃这个box（由于可能这两个
阅读全文
摘要：点击查看代码 # 第一步 读取csv文件（循环读取） # 第二步 将数据转化为tensor形式 # 第三步 创建一个列表 将tensor逐个放入列表 # 第四步 写入标签 import csv import numpy as np import torch from torch.utils.data
阅读全文
摘要：点击查看代码 # 第一步 读取csv文件（循环读取） # 第二步 将数据转化为tensor形式 # 第三步 创建一个列表 将tensor逐个放入列表 # 第四步 写入标签 import csv import numpy as np import torch from torch.utils.data
阅读全文
摘要：类似于这样的csv文件，通过全连接网络进行分类等任务。 ` 点击查看代码 # 第一步 读取csv文件（循环读取） # 第二步 将数据转化为tensor形式 # 第三步 创建一个列表 将tensor逐个放入列表 # 第四步 写入标签 import csv import numpy as np impo
阅读全文
摘要：VGG： 这个是VGG的网络模型架构： VGG( (features): Sequential( (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (1): ReLU(inplace=True) (2): Co
阅读全文
摘要：Pytorch GPU运算过程中会出现：“cuda runtime error(2): out of memory”这样的错误。通常，这种错误是由于在循环中使用全局变量当做累加器，且累加梯度信息的缘故，用官方的说法就是："accumulate history across your training
阅读全文
摘要：一、神经网络 1、人工神经元 神经网络由很多的节点构成，这些节点又叫做人工神经元（或神经元） 他的结构如图所示： x1~xn是输入信号 wij代表从神经元j到神经元i的连接权值 θ表示一个阈值 ( threshold )，或称为偏置( bias ) 神经元i的输出与输入的关系表示为： yi=f(ne
阅读全文
摘要：评价神经网络好坏的一个重要一句就是： 以最少的代价使神经网络获得最好的准确率。 关于特征：特征就是对己而言，特征是某些突出性质的表现，于他而言，特征是区分事物的关键，所以，当我们要对事物进行类或者识别，我们实际上就是提取‘特征’，通过特征的表现进行判断。 特征选择（feature selection
阅读全文
摘要：神经网络的基础模型是感知机，因此神经网络也可以叫做多层感知机，简称MLP。单层感知机叫做感知机，多层感知机约等于人工神经网络（ANN） **表征学习（**representation learning）： 机器能够提取有意义的特征而无需人为干预。经典的例子就是Autoencoder，主要就是由加码器
阅读全文
摘要：在我的机子上最开始使用pip或者使用conda的方法无法安装tensorflow，会显示一大堆的下载问题，当用豆瓣源进行下载的时候也不能解决。 试了五六种方法，大部分都是来创造一个单独的环境。 首先然后在Anaconda Prompt中输入：conda create -n tensorflow py
阅读全文
摘要：什么是机器学习？ 机器学习：简单来说就是机器通过一系列任务从经验（数据）中学习并且评估效果如何。 机器学习中很多地方都要根据目前的信息做出决策，信息熵主要是反应信息的不确定性，他的一个很重要的作用就是做决策时提供一定的判断依据，比如决策树根据熵来往下设置分支。 信息上实际反应的是一个信息的不确定度。
阅读全文
