12 2019 档案
摘要：最早出现在DeeplLab系列中，作用：可以在不改变特征图尺寸的同时增大感受野，摈弃了pool的做法（丢失信息）； 我们设: kernel size = k, dilation rate = d, input size = W1, output size = W2, stride=s, paddin
阅读全文
摘要：使用DataParallel进行并行化时的结构如下： 在上图第一行第四个步骤中，GPU-1 其实汇集了所有 GPU 的运算结果。这个对于多分类问题还好，但如果是自然语言处理模型就会出现问题，导致 GPU-1 汇集的梯度过大，直接爆掉。 那么就要想办法实现多 GPU 的负载均衡，方法就是让 GPU-1
阅读全文
摘要：Linux下，使用pytorch有时候会出现占用过多CPU资源的问题（占用过多线程），解决方法如下： 法一、torch.set_num_threads(int thread) （亲测比较有效） 法二、export OMP_NUM_THREADS = 1 （未测）
阅读全文
