2022年3月5日
nn.CrossEntropyLoss
摘要： nn.CrossEntropyLoss pytorch中交叉熵计算方式为： $$ H(p,q) = -\sum p(i)logq(i)$$ 其中，p为真实值矩阵，q为预测值矩阵 当P使用one-hot embedding时，只有在分类正确时 nn.CrossEntropyLoss()计算包括： So 阅读全文
posted @ 2022-03-05 16:28 ArdenWang 阅读(1095) 评论(0) 推荐(0) 编辑
Tensor-判断tensor中是否存在NAN, inf
摘要： 在用torch搭建深度学习模型时，很容易在数据中存在inf与nan的情况，对应的数据类型分别时torch.inf与torch.nan。 大多数情况下，产生nan数据的原因基本上是出现了分母为0的情况，所以需要检查张量计算过程中是否有除法运算，比如softmax就有除法。 判断一个张量中是否有nan值 阅读全文
posted @ 2022-03-05 15:18 ArdenWang 阅读(4604) 评论(0) 推荐(0) 编辑
Python中 各种类型的相互转换
摘要： list与numpy相互转换 list 转 numpy ndarray = np.array(list) numpy 转 list list = ndarray.tolist() list 转 torch.Tensor tensor=torch.Tensor(list) Tensor与list，nu 阅读全文
posted @ 2022-03-05 15:14 ArdenWang 阅读(593) 评论(0) 推荐(0) 编辑
2022年1月18日
torch.triu()
摘要： torch.triu(input, diagonal=0, out=None) → Tensor 返回矩阵上三角部分，其余部分定义为0。 Parameters: input (Tensor) – the input tensor diagonal (int, optional) – the diag 阅读全文
posted @ 2022-01-18 14:47 ArdenWang 阅读(323) 评论(0) 推荐(0) 编辑
2022年1月13日
python输出当前时间
摘要： import time print(time.strftime("%Y-%m-%d-%H_%M_%S", time.localtime()))运行结果： 2021-01-13-8_25_27 格林尼治时间（从1970年1月1日午夜以来的秒数） import time print(time.time( 阅读全文
posted @ 2022-01-13 10:02 ArdenWang 阅读(584) 评论(0) 推荐(0) 编辑
2021年12月23日
为什么BERT是无监督模型？
摘要： 确切来说BERT这种预训练模型属于自监督学习，将一句话屏蔽掉一分部分token，输入到模型中。然后让模型预测整句话，让模型学习数据集的上下文关系。 数据没有通过人工标记label，勉强可看成无监督式学习吧。 MLM可看作 加噪自编码 阅读全文
posted @ 2021-12-23 16:24 ArdenWang 阅读(366) 评论(0) 推荐(0) 编辑
2021年12月21日
Google colab -- Github clone
摘要： 在GitHub copy项目的.git链接 在colab中输入下行命令 !git clone https://github.com/XXX/XXX.git # https链接 阅读全文
posted @ 2021-12-21 09:20 ArdenWang 阅读(84) 评论(0) 推荐(0) 编辑
google colab 数据复制 解压
摘要： 在 Notebook 中添加一个 Section 命名为「安装环境」。然后在这个 Section 中做一些数据复制、解压，以及安装第三方包的工作。实例代码如下： zip文件解压 !mkdir ./data # 在实例中创建文件夹 data !cp /content/drive/MyDrive/pap 阅读全文
posted @ 2021-12-21 09:11 ArdenWang 阅读(940) 评论(0) 推荐(0) 编辑
2021年12月19日
Google Colab运行py文件
摘要： 进入自定义文件夹 import os path="/content/drive/My Drive/Project" os.chdir(path) os.listdir(path) 运行目录下的.py文件（执行系统命令，需要在命令前加感叹号） !python run.py 阅读全文
posted @ 2021-12-19 18:35 ArdenWang 阅读(1035) 评论(0) 推荐(0) 编辑
2021年12月11日
onedrive 同步指定文件夹
摘要： cmd管理者运行 mklink /d "[Onedrive的Documents路径(新建文件夹，否则会提示文件夹已存在)]" "[想同步的文件夹路径]" 阅读全文
posted @ 2021-12-11 14:24 ArdenWang 阅读(126) 评论(0) 推荐(0) 编辑