摘要: 张量(Tensors)是一种类似于数组与矩阵的特殊数据结构,我们可以利用张量来表示一个模型的输入,输出以及模型的参数。张量与Numpy的数组十分类似,只是张量可以运行在GPUs等硬件加速器上。实际上,张量与Numpy数组通常可以共享一块内存,避免了复制数据的需要。另外,张量还具有自动微分的功能。 i 阅读全文
posted @ 2023-03-04 21:26 sqsq 阅读(121) 评论(0) 推荐(0) 编辑
摘要: axis: 以axis=0为例,则沿着第0个下标(最左边的下标)变化的方向进行操作,也就是将除了第0个下标外,其他两个下标都相同的部分分成一组,然后再进行操作例如一个3*3的二维数组A(3, 3)如果定义axis = 0,也就是说除了第一个下标可以不同,其他下标必须都相同,那么用C++的数组表示,分 阅读全文
posted @ 2023-03-04 14:32 sqsq 阅读(149) 评论(0) 推荐(0) 编辑
摘要: numpy(): Tensor.numpy():将Tensor转化为ndarray,这里的Tensor可以是标量或者向量(与item()不同)转换前后的dtype不会改变 代码: import torch import torch.nn as nn x = torch.Tensor([1,2]) p 阅读全文
posted @ 2023-03-04 11:52 sqsq 阅读(401) 评论(0) 推荐(0) 编辑
摘要: 基本思想是通过网络层时,输入和输出的方差相同,包括前向传播和后向传播。 为啥需要进行xavier初始化: sigmoid激活函数: 参考博客: https://blog.csdn.net/dss_dssssd/article/details/83959474 原理: 使用均匀分布 用值填充输入张量结 阅读全文
posted @ 2023-03-04 09:42 sqsq 阅读(2466) 评论(0) 推荐(0) 编辑
摘要: import torch criterion = torch.nn.MarginRankingLoss(margin = 0.3,reduction='mean') x1 = torch.Tensor([3,2]) x2 = torch.Tensor([1,4]) y = torch.Tensor( 阅读全文
posted @ 2023-03-04 09:02 sqsq 阅读(449) 评论(0) 推荐(0) 编辑
摘要: torch.nn.Embedding: 随机初始化词向量,词向量值在正态分布N(0,1)中随机取值。输入:torch.nn.Embedding(num_embeddings, – 词典的大小尺寸,比如总共出现5000个词,那就输入5000。此时index为(0-4999)embedding_dim, 阅读全文
posted @ 2023-03-04 08:46 sqsq 阅读(683) 评论(0) 推荐(0) 编辑