摘要: nn.CrossEntropyLoss pytorch中交叉熵计算方式为: $$ H(p,q) = -\sum p(i)logq(i)$$ 其中,p为真实值矩阵,q为预测值矩阵 当P使用one-hot embedding时,只有在分类正确时 nn.CrossEntropyLoss()计算包括: So 阅读全文
posted @ 2022-03-05 16:28 ArdenWang 阅读(1095) 评论(0) 推荐(0) 编辑
摘要: 在用torch搭建深度学习模型时,很容易在数据中存在inf与nan的情况,对应的数据类型分别时torch.inf与torch.nan。 大多数情况下,产生nan数据的原因基本上是出现了分母为0的情况,所以需要检查张量计算过程中是否有除法运算,比如softmax就有除法。 判断一个张量中是否有nan值 阅读全文
posted @ 2022-03-05 15:18 ArdenWang 阅读(4604) 评论(0) 推荐(0) 编辑
摘要: list与numpy相互转换 list 转 numpy ndarray = np.array(list) numpy 转 list list = ndarray.tolist() list 转 torch.Tensor tensor=torch.Tensor(list) Tensor与list,nu 阅读全文
posted @ 2022-03-05 15:14 ArdenWang 阅读(593) 评论(0) 推荐(0) 编辑