随笔分类 - 机器学习/深度学习
一些机器学习的中遇到指标问题
摘要:由于众所周知的原因,国内很难使用huggingface去下载权重,但现在的大模型的权重以及相关的分词器配置都放在huggingface的仓库中。当我们使用 AutoTokenizer.from_pretrained 去载入相关分词器和模型时,会访问huggingface自动下载模型。但随着大模型的发
阅读全文
摘要:Windows下安装pytorch教程(下载.whl的方式)_pytorch whl-CSDN博客
阅读全文
摘要:在训练CNN网络的时候,常常会使用dropout来使得模型具有更好的泛化性,并防止过拟合。而dropout的实质则是以一定概率使得输入网络的数据某些维度上变为0,这样可以使得模型训练更加有效。但是我们需要注意dropout层在训练和测试的时候,模型架构是不同的。为什么会产生这种差别呢? 一、训练和测
阅读全文
摘要:在我们平常面试和工程中会用到BN和LN,但或许没有去了解过BN和LN到底在那个维度上进行的正则化(减均值除以标准差)。下面将会采用各种例子来为大家介绍BN层和LN层各个参数以及差别。 一、BatchNorm(批标准化): BatchNorm一共有三个函数分别是BatchNorm1d,BatchNor
阅读全文
摘要:在NLP项目中,我们常常会需要对文本内容进行编码,所以会采tokenizer这个工具,他可以根据词典,把我们输入的文字转化为编码信息,例如我们本文信息是“我爱你”将转化为[2,10,3],其中”我“在字典里对应数字2,”爱“在字典里对应数字10,经过转化之后的文本,就可以作为模型的输入了。因此我们可
阅读全文
摘要:本文主要是记录下,使用PytorchLightning这个如何进行深度学习的训练,记录一下本人平常使用这个框架所需要注意的地方,由于框架的理解深入本文会时不时进行更新(第三部分的常见问题会是不是的更新走的),本文深度参考以下两个网站pytorch_lightning 全程笔记 、Pytorch Li
阅读全文
摘要:本文将记录如何使用单机多卡GPU的方式进行训练,主要是采用DP模式(DDP模式一般用于多机多卡训练)。 1、DP模式基本原理 DP模型进行单机多卡训练基本步骤如下: (1)将模型复制到各个GPU中,并将一个batch的数据划分成mini_batch并分发给给个GPU (2)各个GPU独自完成mini
阅读全文
摘要:这篇文章主要探讨一下,Dataset类以及DataLoader类的使用以及注意事项。Dataset类主要是用于原始数据的读取或者基本的数据处理(比如在NLP任务中常常需要把文字转化为对应字典ids,这个步骤就可以放在Dataset中执行)。DataLoader,是进一步对Dataset的处理,Dat
阅读全文
摘要:本文主要介绍Pytorch中Tensor的储存机制,在搞懂了Tensor在计算机中是如何存储之后我们会进一步来探究tensor.view()、tensor.reshape()、tensor.reszie_(),她们都是改变了一个tensor的“形状”,但是他们之间又有着些许的不同,这些不同常常会导致
阅读全文
摘要:1、前言 在目标检测中我们常常使用AP(Average Precision)作为模型对某种目标精测精度的评价指标,该如何计算AP呢? AP就是P—R曲线下的面积,我们需要做的就是根据不同的置信度阈值(p_threshold),计算出这模型得到的预测框的(R,P),然后作出P—R曲线,并求解面积,就能
阅读全文
摘要:在深度学习模型训练或者推理的时候我们常常会需要使用到GPU加速,而在服务器上会存在多块GPU,并且可能会有很多人在使用这些GPU,因此如何设置程序在指定的GPU上训练模型/推理,下面介绍我们如何在python程序中指定GPU运行。 1、查看服务器显卡运行状况 在Linux服务器上我们可以使用以下命令
阅读全文
摘要:本篇文章主要是对NMS模块的python实现,因为最近在做有关目标检测的东西,而NMS作为目标检测深度模型之后对图片方框的后处理,是非常重要的一个部分。参考原文(NMS的python实现) 具体的原理建议参考原文,我这里就是搬运一下代码, 当然也有增加了一些自己对代码的解释。 import nump
阅读全文
摘要:Sklearn中的召回度和精准度函数 在上一篇博文中已经介绍过了精准度和召回度的定义,以及该如何利用混淆矩阵来进行计算。这一章节将会利用sklearn的包来直接计算出分类(多分类和二分类)的召回度和精准度。主要是采用sklearn.metrics中的classification_report, pr
阅读全文
摘要:在二分类中我们经常遇见这样那样的指标,而我最搞不清楚或者记不清楚的就是AUC、精确率(Precision或者查准率),召回率(recall或者叫查全率),这次我总结一下我看到的一些攻略,以后再记不清楚的时候就来看看。 精确率(Precision),召回率(recall) 这两个是最记不清楚的,属于一
阅读全文