GPU相关：Pytorch

这是cuda官网,大家自己参考下载方法。

CUDA Toolkit 11.6 Update 1 Downloads | NVIDIA Developer

如果已经下载好，那么可以进行以下流程。

#可以使用nvidia-smi命令来查看显卡信息。
!nvidia-smi

或者在cmd命令行窗口输入以下命令，同样可以查看信息。

nvidia-smi

查看gpu是否可用，可用回返回True

torch.cuda.is_available()

在PyTorch中，CPU和GPU可以用torch.device('cpu') 和torch.device('cuda')表示。应该注意的是，cpu设备意味着所有物理CPU和内存，这意味着PyTorch的计算将尝试使用所有CPU核心。然而，gpu设备只代表一个卡和相应的显存。如果有多个GPU，我们使用torch.device(f'cuda:{i}') 来表示第ii块GPU（ii从0开始）。另外，cuda:0和cuda是等价的。

查询可用gpu的数量

torch.cuda.device_count()

我们可以查询张量所在的设备。默认情况下，张量是在CPU上创建的。

x = torch.tensor([1, 2, 3])
x.device

现在我们定义了两个方便的函数，这两个函数允许我们在不存在所需所有GPU的情况下运行代码。

def try_gpu(i=0):  #@save
    """如果存在，则返回gpu(i)，否则返回cpu()"""
    if torch.cuda.device_count() >= i + 1:
        return torch.device(f'cuda:{i}')
    return torch.device('cpu')

def try_all_gpus():  #@save
    """返回所有可用的GPU，如果没有GPU，则返回[cpu(),]"""
    devices = [torch.device(f'cuda:{i}')
             for i in range(torch.cuda.device_count())]
    return devices if devices else [torch.device('cpu')]

try_gpu(), try_gpu(10), try_all_gpus()

我们可以查询张量所在的设备。默认情况下，张量是在CPU上创建的。

有几种方法可以在GPU上存储张量。例如，我们可以在创建张量时指定存储设备。接下来，我们在第一个gpu上创建张量变量X。在GPU上创建的张量只消耗这个GPU的显存。我们可以使用nvidia-smi命令查看显存使用情况。一般来说，我们需要确保不创建超过GPU显存限制的数据。

神经网络与GPU

类似地，神经网络模型可以指定设备。下面的代码将模型参数放在GPU上。

net = nn.Sequential(nn.Linear(3, 1))
net = net.to(device=try_gpu())
net（X）

如果没有定义上面的try_gpu函数也可以简单的用以下代码：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
net = net.to(device)
net(X)

确认模型参数存储在同一个GPU上。

net[0].weight.data.device

多GPU

假设你至少有两个GPU，下面的代码将在第二个GPU上创建一个随机张量。如果没有就算了，后面的内容可以不看。

Y = torch.rand(2, 3, device=try_gpu(1))
Y

如果我们要计算X + Y，我们需要决定在哪里执行这个操作。例如，我们可以将X传输到第二个GPU并在那里执行操作（也可以将Y移到第一块GPU上面）。不能简单地X加上Y，因为这会导致异常，运行时引擎不知道该怎么做：它在同一设备上找不到数据会导致失败。由于Y位于第二个GPU上，所以我们需要将X移到那里，然后才能执行相加运算。