随笔分类 -  pytorch底层

摘要：大家在训练深度学习模型的时候，经常会使用 GPU 来加速网络的训练。但是说起 torch.backends.cudnn.benchmark 这个 GPU 相关的 flag，可能有人会感到比较陌生。在一般场景下，只要简单地在 PyTorch 程序开头将其值设置为 True，就可以大大提升卷积神经网络的 阅读全文

摘要：PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？我觉得一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。 了解自动求导背后的原理和 阅读全文

摘要：这篇文章主要是围绕 PyTorch 中的 tensor 展开的，讨论了张量的求导机制，在不同设备之间的转换，神经网络中权重的更新等内容。面向的读者是使用过 PyTorch 一段时间的用户。本文中的代码例子基于 Python 3 和 PyTorch 1.1，如果文章中有错误或者没有说明白的地方，欢迎在 阅读全文

摘要：PyTorch 中有一些基础概念在构建网络的时候很重要，比如 nn.Module, nn.ModuleList, nn.Sequential，这些类我们称之为容器 (containers)，因为我们可以添加模块 (module) 到它们之中。这些容器之间很容易混淆，本文中我们主要学习一下 nn.Mo 阅读全文