PyTorch（torch.cuda.empty_cache()）
torch.cuda.empty_cache() 是 PyTorch 中用于清理 GPU 上缓存的内存的函数。这个函数不会影响 GPU 上存储的实际张量数据，只是释放了由缓存机制占用的内存。在深度学习模型的训练过程中，经常需要释放不再使用的 GPU 内存，以便进行后续的操作，而 torch.cuda.empty_cache() 提供了这种释放内存的途径。
1. 函数功能
torch.cuda.empty_cache()
-
释放缓存内存：
torch.cuda.empty_cache()将 GPU 内存中那些被标记为“空闲”（未引用的）的缓存释放掉，但不会影响正在使用中的数据。此操作不会更改 PyTorch 中现有的张量数据，只是清理缓存以便更高效地利用 GPU 资源。 -
防止内存泄漏：
在执行一系列操作后，特别是使用循环训练模型时，可能会在 GPU 上积累不必要的缓存数据，占用过多的显存。此时调用torch.cuda.empty_cache()可以帮助释放这些数据，避免 GPU 内存耗尽的情况。 -
优化显存使用：
在执行模型训练或推理的过程中，有时会动态分配和释放内存。如果显存资源不足，可以使用torch.cuda.empty_cache()释放未使用的缓存，为后续操作腾出空间。
2. 使用场景
- 循环训练时防止显存爆满：在每次 epoch 结束或批处理操作完成后，释放缓存，以便更好地利用显存资源。
- 调试时：在训练或测试代码中使用该函数，可以检查是否有未正确释放的显存占用。
- 多模型训练：在依次训练多个模型时，清空前一个模型的缓存，以便为下一个模型分配足够的显存。
3. 注意事项
- 不会释放正在使用的显存：
torch.cuda.empty_cache()只会清空缓存的显存，不会影响当前分配的显存。 - 可能带来小幅性能开销：频繁调用
torch.cuda.empty_cache()可能会导致 PyTorch 失去对某些内存块的重用，因此建议根据实际需求使用，而不要在循环中过于频繁地调用。 - 不必要时不需调用：PyTorch 在正常使用时，自动管理显存。只有当显存不足，或想要确保显存使用尽可能优化时，才建议调用此函数。
4. 示例代码
import torch
# 假设正在训练一个深度学习模型
for epoch in range(num_epochs):
# 模型训练代码
...
# 每个 epoch 结束后清理缓存
torch.cuda.empty_cache()
5. 相关函数
-
torch.cuda.memory_allocated()：用于查看 GPU 上已分配的内存。 -
torch.cuda.memory_reserved()：用于查看 GPU 上保留的内存总量（包括已分配和缓存的内存）。 -
torch.cuda.reset_max_memory_allocated()：重置最大内存分配的记录，用于监控内存使用峰值。
总体来说，torch.cuda.empty_cache() 是在训练过程中管理 GPU 内存的一个有用工具，但不应频繁使用，以避免潜在的性能开销。
