随笔- 10 文章- 1 评论- 1 阅读- 5843

09 2024 档案

nn.Dropout()与nn.functional.dropout()的区别

摘要：在 PyTorch 中，`Dropout` 主要有两种常见的使用方式： 1. **`torch.nn.Dropout` 模块**：通常用于模型的层定义中。2. **`torch.nn.functional.dropout` (即 `F.dropout`)**：通常用于在 `forward` 方法中直阅读全文

posted @ 2024-09-18 12:49 Dr.Joker(月月安康) 阅读(189) 评论(0) 推荐(0) 编辑

踩坑日志3：每一个epoch都会重新随机采样，固定batch容易使模型陷入局部解

摘要：前几天师弟在机器学习领域看到了一个对样本选择的方法，目的是从特征的角度均匀选择样本。如下图所示，首先初始化将样本的特征进行加和并归一化，迭代取出样本（取值最大的那个样本，再令样本的值乘以1-样本的值更新所有样本）。这般便可以从理论上均匀的取到不同分布的样本，于是猜想如果这样的方法用于深度学习的样本选阅读全文

posted @ 2024-09-15 22:41 Dr.Joker(月月安康) 阅读(74) 评论(0) 推荐(0) 编辑

问题1：pytorch版本不同，文件运行速度不同

摘要：好像新版本更快一点哦，为什么呢？版本1： PyTorch version: 1.12.1Is CUDA available? TrueCUDA version: 11.3cuDNN version: 8302 版本2： PyTorch version: 2.3.1+cu121Is CUDA ava 阅读全文

posted @ 2024-09-15 12:30 Dr.Joker(月月安康) 阅读(40) 评论(0) 推荐(0) 编辑

踩坑日志2：dataloader的num_workers问题

摘要：当我想用dataloader多开子进程加快图片加载速度时，发现报有关进程的错误： RuntimeError: An attempt has been made to start a new process before the current process has finished its boo 阅读全文

posted @ 2024-09-15 12:12 Dr.Joker(月月安康) 阅读(93) 评论(0) 推荐(0) 编辑

踩坑日志1：cuDNN问题UserWarning: Plan failed with a cudnnException: CUDNN_BACKEND_EXECUTION_PLAN_DESCRIPTOR

摘要：在运行深度模型时，遇到了下面有关cuDNN的错误，虽然好像不影响模型训练，但是感觉很烦、有一捏捏代码洁癖。 D:\anaconda\envs\myPytorch\Lib\site-packages\torch\autograd\graph.py:744: UserWarning: Plan fail 阅读全文

posted @ 2024-09-15 11:56 Dr.Joker(月月安康) 阅读(1555) 评论(0) 推荐(0) 编辑