随笔 - 128  文章 - 0  评论 - 75  阅读 - 11万

随笔分类 -  PyTorch实战

FX图中的节点代表什么操作
摘要:在 FX 图中,每个节点代表一个操作。这些操作可以是函数调用、方法调用、模块实例调用,也可以是 torch.nn.Module 实例的调用。每个节点都对应一个调用站点,如运算符、方法和模块。 一.节点操作 下面是一些节点可能代表的操作: 1. 函数调用 例如,torch.add(x, y)会被表示为 阅读全文
posted @ 2024-01-14 23:58 扫地升 阅读(71) 评论(0) 推荐(0) 编辑
PyTorch中的AOTAutograd、PrimTorch和TorchInductor
摘要:一.PyTorch 中的 AOTAutograd 在 PyTorch 中,AOTAutograd 是一个先进的功能,它是 Ahead-Of-Time (AOT) Autograd 的缩写。这是一种新的自动微分方法,它在编译时而不是运行时计算梯度。这使得它可以更有效地处理大型计算图。以下是一些关于 A 阅读全文
posted @ 2024-01-14 23:57 扫地升 阅读(302) 评论(0) 推荐(0) 编辑
PyTorch中的FX图
摘要:一.FX 图介绍 FX 图是 PyTorch 中的一个主要数据结构,用于在 FX 中间表示(Intermediate Representation,IR)中表示程序。FX 图由一系列节点组成,每个节点代表调用站点(比如运算符、方法和模块)。 FX 图的主要目标是提供一种方式来转换和优化 PyTorc 阅读全文
posted @ 2024-01-14 23:57 扫地升 阅读(316) 评论(0) 推荐(0) 编辑
TorchDynamo 原理和示例
摘要:TorchDynamo 是一个设计用于加速未修改的 PyTorch 程序的 Python 级即时(JIT)编译器。它通过 Python Frame Evaluation Hooks(Python 框架评估钩子)来实现这一目标,以便在运行时动态地生成和优化代码。这使得 TorchDynamo 可以有效 阅读全文
posted @ 2024-01-14 23:57 扫地升 阅读(515) 评论(0) 推荐(0) 编辑
PyTorch中的Eager模式
摘要:在 PyTorch 中,"Eager Execution"(即即时执行模式)是指一种动态图计算模式,其中每个操作都立即被执行,而不是被先放入计算图中。这与静态图计算框架(如 TensorFlow 的早期版本)的工作方式不同。在即时执行模式中,你可以像使用 NumPy 一样进行操作,逐步构建计算图,方 阅读全文
posted @ 2024-01-14 23:56 扫地升 阅读(1062) 评论(0) 推荐(0) 编辑
PyTorch中的nn.LeakyReLU()、nn.Module和nn.ModuleList
摘要:一.nn.LeakyReLU()函数 在 PyTorch 中,nn.LeakyReLU() 是一个激活函数,用于引入非线性性到神经网络中。Leaky ReLU 是修正线性单元(ReLU)的一种变体,它在输入为负数时不是完全置零,而是引入一个小的负斜率。nn.LeakyReLU() 的初始化参数如下: 阅读全文
posted @ 2024-01-14 23:38 扫地升 阅读(717) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

点击右上角即可分享
微信分享提示