摘要: 1. Batch Normalization的作用 Batch Normalization可以帮助使error surface不那么崎岖... 例如上图,x1的值比较小,当w1发生微小的变化时,损失L变化也会很小;而x2的值比较大,当w2发生微小的变化时,损失L变化会比较大; 这样就会造成error 阅读全文
posted @ 2023-08-05 21:09 Peg_Wu 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 一种新的数据增强的方式mixup: 文件夹结构: food11: - training calss_num.jpg - validation class_num.jpg 数据增强: import torchvision.transforms as transforms # Normally, We 阅读全文
posted @ 2023-08-05 18:15 Peg_Wu 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 一个用于节省内存的技巧:(构建Dataset后可将原始数据删除!训练和验证完成后可将训练集和验证集的DataLoader删除!) import gc from torch.utils.data import DataLoader, Dataset, random_split # preprocess 阅读全文
posted @ 2023-08-05 16:09 Peg_Wu 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 固定随机数种子: def same_seed(seed): '''Fixes random number generator seeds for reproducibility.''' torch.backends.cudnn.deterministic = True torch.backends. 阅读全文
posted @ 2023-08-05 15:39 Peg_Wu 阅读(16) 评论(0) 推荐(0) 编辑