【Python报错】RuntimeError: DataLoader worker (pid(s) 9764, 15128) exited unexpectedly
batch_size = 2# 256 def get_dataloader_workers(): #@save """使用4个进程来读取数据。""" return 4 train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers()) timer = d2l.Timer() for X, y in train_iter: continue f'{timer.stop():.2f} sec'
问题:动手学深度学习2.0,softmax回归,读取小批量数据是出现超时报错。具体如下:
我的环境是:Anaconda 的虚拟环境,使用jupyter notebook进行编译,电脑是联想拯救者R720,i5处理器,2g独显;
我所使用的CPU运行,最初是批量256张图片数据,同时使用4线程进行读取,此时会报错!
查阅网上的回答,说最可能的原因是;
- cuda 虚拟环境的共享内存不足,解决办法是,要么改成更小的batchsize,
- 将numworkers = 4注释掉,不用多进程
解决过程:
1、只将batchsize改小,变为2,依旧报错
2、将进程num_workers=get_dataloader_workers()改为0、1、2可以使用
估计还是电脑太差了不太行的缘故,毕竟用了快四年了。
3、后续我又试着将batchsize改回256,依旧可以运行,但是有时候多运行几次就会报错,估计是缓存内存,不够的缘故,我只要重新启动内核,运行一次,就可以了。
4、我将进程改为4,重启内核,重新运行,还是会报错,具体原因不得而知,先继续学习吧。
关注公众号【龙一的编程life】,一起学习吧!