摘要: 1. VMware的安装 安装教程链接:VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维大脑的博客-CSDN博客 VMware各个版本的许可证密钥可以从网上找到: VMware 17密钥:MC60H-DWHD5-H80U9-6V85M-8280D 注意在完成安装 阅读全文
posted @ 2023-08-09 23:26 Peg_Wu 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 1. Algorithm 2. Theory behind GAN 我们的目标是让生成器生成的数据的分布PG和实际的数据分布Pdata越接近越好,而衡量两个分布之间是否接近可以通过Divergence Function;Divergence Function的值越小,说明两个分布之间越接近;但是,如 阅读全文
posted @ 2023-08-09 14:57 Peg_Wu 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 在构建Dataset的时候,可以将长的序列先截断,先不管短的序列: import os import json import torch import random from pathlib import Path from torch.utils.data import Dataset from 阅读全文
posted @ 2023-08-07 18:24 Peg_Wu 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 1. How to make self-attention efficent? 当我们的输入序列非常长时,self-attention会主导整个网络的计算! 方式一:Local Attention / Truncated Attention 方式二:Stride Attention 方式三:Glob 阅读全文
posted @ 2023-08-06 17:49 Peg_Wu 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1. Seq2seq Transformer是一种Seq2seq模型 2. Model Architecture A. Encoder B. Decoder (AT & NAT) 由于Decoder是一个一个vector输出的,因此self-attention转变为了masked self-atte 阅读全文
posted @ 2023-08-06 01:06 Peg_Wu 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 1. Batch Normalization的作用 Batch Normalization可以帮助使error surface不那么崎岖... 例如上图,x1的值比较小,当w1发生微小的变化时,损失L变化也会很小;而x2的值比较大,当w2发生微小的变化时,损失L变化会比较大; 这样就会造成error 阅读全文
posted @ 2023-08-05 21:09 Peg_Wu 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 一种新的数据增强的方式mixup: 文件夹结构: food11: - training calss_num.jpg - validation class_num.jpg 数据增强: import torchvision.transforms as transforms # Normally, We 阅读全文
posted @ 2023-08-05 18:15 Peg_Wu 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 一个用于节省内存的技巧:(构建Dataset后可将原始数据删除!训练和验证完成后可将训练集和验证集的DataLoader删除!) import gc from torch.utils.data import DataLoader, Dataset, random_split # preprocess 阅读全文
posted @ 2023-08-05 16:09 Peg_Wu 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 固定随机数种子: def same_seed(seed): '''Fixes random number generator seeds for reproducibility.''' torch.backends.cudnn.deterministic = True torch.backends. 阅读全文
posted @ 2023-08-05 15:39 Peg_Wu 阅读(16) 评论(0) 推荐(0) 编辑
摘要: os.system("notepad.exe") # 打开记事本os.system("calc.exe") # 打开计算器os.startfile("./student.txt") # 打开当前文件夹下的student.txt文件 os.path.split() # 将目录与文件名进行拆分 os.w 阅读全文
posted @ 2023-08-04 20:59 Peg_Wu 阅读(0) 评论(0) 推荐(0) 编辑