随笔分类 - PyTorch
对PyTorch的学习积累
摘要:Pytorch是深度学习领域中非常流行的框架之一,支持的模型保存格式包括.pt和.pth .bin .onnx。这几种格式的文件都可以保存Pytorch训练出的模型,但是它们的区别是什么呢? ### 模型的保存与加载到底在做什么? 我们在使用pytorch构建模型并且训练完成后,下一步要做的就是把这
阅读全文
摘要:### 基本概念 标量、向量和张量是数学和物理中经常使用的概念,它们的主要区别在于它们所描述的量的性质和维度。 1. 标量(Scalar):标量是一个单独的数,它没有方向和大小之分。在物理学中,标量常常用于描述某个物理量的大小,比如温度、质量、时间等。标量可以用一个数字或符号表示,例如,温度为 20
阅读全文
摘要:首先导入依赖的torch包。 ```python import torch ``` 我们设: + seq_len(序列的最大长度):5 + batch_size(批量大小):2 + d_model(每个单词被映射为的向量的维度):10 + heads(多头注意力机制的头数):5 + d_k(每个头的
阅读全文