使用上下文装饰器调试Pytorch的内存泄漏问题

装饰器是 python 上下文管理器的特定实现。本片文章将通过一个pytorch GPU 调试的示例来说明如何使用它们。虽然它可能不适用于所有情况，但我它们却是非常有用。

调试内存泄漏问题

有很多方法可以调试内存泄漏。本文将展示一种识别代码中有问题的行的有用方法。该方法可以有助于以简洁的方式找到具体的位置。

逐行手动调试

如果遇到问题，一种经典的且常用的方法是使用调试器逐行检查，比如下面的例子：

• 在搜索引擎查找有关如何计算 pytorch 中所有张量总数的代码片段，比如：tensor-counter-snippet
• 在代码中设置断点
• 使用tensor-counter-snippet来获得张量的总数统计
• 使用调试器执行下一步操作
• 重新运行 tensor-counter-snippet，并检查张量计数是否增加
• 重复上面的步骤

它可以工作，但这样的操作光听起来来就很麻烦。我们可以将其封装成一个函数，这样可以在需要的时候调用，这样几乎不需要修改现有的代码，所以就引出了我们要介绍装饰器的功能。

完整文章：

https://avoid.overfit.cn/post/40d81e2235d345ed9f25d2221af7cbcf