摘要：
预备知识 模型并行（ model parallelism ）：即把模型拆分放到不同的设备进行训练，分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分 —— 例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部的不同参数被分配到不同机器，如AlexNet的训练。 数据并行（ 阅读全文
摘要：
安装pytorch时，torchvision独立于torch。torchvision包由流行的数据集（torchvision.datasets）、模型架构(torchvision.models)和用于计算机视觉的常见图像转换组成t(torchvision.transforms)。 1）数据库 MNI 阅读全文
摘要：
实例化数据库的时候，有一个可选的参数可以对数据进行转换，满足大多神经网络的要求输入固定尺寸的图片，因此要对原图进行Rescale或者Crop操作，然后返回的数据需要转换成Tensor如： 数据转换（Transfrom）发生在数据库中的__getitem__操作中。以上代码中，transforms.C 阅读全文
摘要：
1）前言 虽然torchvision.datasets中已经封装了好多通用的数据集，但是我们在使用Pytorch做深度学习任务的时候，会面临着自定义数据库来满足自己的任务需要。如我们要训练一个人脸关键点检测算法，提供的训练数据标注如下形式，存在CSV文件中： 在本次教程中，我们需要用到两个额外的包： 阅读全文