Circel_Wang

摘要： 这是在阅读nn.DataParallel源码的时候看到的一个模块，可以复制你所传入的列表，或者字典，或者元组，代码逻辑涉及到递归和zip的使用，我着实没看懂，但是很是优雅，记录一下。 def copy_obj(input,number): targets_list = range(number) d 阅读全文

摘要： 本文将记录如何使用单机多卡GPU的方式进行训练，主要是采用DP模式（DDP模式一般用于多机多卡训练）。 1、DP模式基本原理 DP模型进行单机多卡训练基本步骤如下： （1）将模型复制到各个GPU中，并将一个batch的数据划分成mini_batch并分发给给个GPU （2）各个GPU独自完成mini 阅读全文

摘要： 本文将介绍使用multiprocessing进行多线程和多进程操作。 多线程 如果我需要对一个列表的每一个元素都要执行一个函数操作，并且每个元素执行的操作互不影响，那我们可以让列表里的所有元素在同时进行执行，而不是使用for循环让其一个一个执行，这种操作常常在独写文件中处理，比如我们要下载一系列的图 阅读全文

摘要： 这篇文章主要探讨一下，Dataset类以及DataLoader类的使用以及注意事项。Dataset类主要是用于原始数据的读取或者基本的数据处理（比如在NLP任务中常常需要把文字转化为对应字典ids，这个步骤就可以放在Dataset中执行）。DataLoader，是进一步对Dataset的处理，Dat 阅读全文

摘要： 本文主要介绍Pytorch中Tensor的储存机制，在搞懂了Tensor在计算机中是如何存储之后我们会进一步来探究tensor.view()、tensor.reshape()、tensor.reszie_()，她们都是改变了一个tensor的“形状”，但是他们之间又有着些许的不同，这些不同常常会导致 阅读全文

摘要： 介绍一下自定义类的时候__str__方法的作用。这个类方法(__str__())主要的作用是在print（实例）的时候返回你指定的字符串，一般来说在定义类的时候不用重写这个方法的，但是在一些注重交互的模块类的编写上，可能会重写这个类。下面直接进入例子。 我定义一个Car的类，具体代码如下： clas 阅读全文

摘要： 本博文持续收集下在日常工作中常用的Linux命令，以供平时查看。 1、watch -n 10 nvidia-smi 查看显卡使用情况，每10秒刷新一次 2、ll -h 查看当前目录下文件情况，读写权限，文件大小(注意这里是文件大小，不是文件夹大小。如果是一个文件夹是不会显示文件夹内部文件总共所占硬盘 阅读全文

摘要： 学习完前面章节的内容，相信大家都已经能够了解docker的基本命令，以及如何在本机运行容器，并把容器保存为一个镜像。下面这一章节将讲解如何把一个配置好的环境（镜像）移植到另一台电脑。 1、保存镜像为tar文件 docker save [可选参数] 镜像 [镜像2 镜像3 ....] 可选参数 -o 阅读全文

摘要： 1、对有序数对进行插入（bisect） bisect.bisect_left(list,x): 在list中插入x以保证list仍然有序，返回这个x的插入点的最左侧index，如果x出现在list中，则返回x第一次出现位置的index bisect.bisect_right(list,x): 在li 阅读全文

摘要： 1、前言 在目标检测中我们常常使用AP（Average Precision）作为模型对某种目标精测精度的评价指标，该如何计算AP呢？ AP就是P—R曲线下的面积，我们需要做的就是根据不同的置信度阈值(p_threshold)，计算出这模型得到的预测框的（R，P），然后作出P—R曲线，并求解面积，就能 阅读全文