torch.detach

在深度学习中，通常使用自动微分（Autograd）来计算梯度，以便进行反向传播和优化。

在这个过程中，PyTorch会构建一个计算图，用于跟踪张量之间的计算关系。这个计算图是由各个张量之间的运算所构成的，以便在进行反向传播时计算梯度。

.detach()方法的作用是创建一个新的张量，与原始张量共享相同的数据，但是这个新的张量不再与计算图关联。这意味着对这个新张量的操作不会影响原始张量的计算图，也就是说，这个新张量不会对原始张量的梯度产生影响

 

参考：自动微分的章节

 

代码中用法：

　　
detach().cpu() 主要用于将 PyTorch 张量从 GPU 移动到 CPU。避免对原始张量进行操作时对梯度的影响