解决pytorch报错BrokenPipeError: [Errno 32] Broken pipe
问题描述
BrokenPipeError: [Errno 32] Broken pipe
原因分析
Windows
使用DataLoader
时设置num_workers
的问题。
解决方案
两种解决方案,任选一种即可!
方案1
把代码放到if __name__ == "__main__":
下运行
if __name__ == "__main__":
train_dataloader = DataLoader(
dataset=dataset,
batch_size=32,
shuffle=True,
num_workers=8
)
方案2
num_workers
不要更改,设置为默认值0。
温馨提示
num_workers
(int, optional): how many subprocesses to use for data loading.0
means that the data will be loaded in the main process. (default:0
)
num_workers参数允许输入的数据类型是整型,表示加载数据的子进程数。也就是使用多进程来加载数据,这样效率更高一些。如果设置为0
表示子进程数是0
,也就是只用一个主进程来加载数据。数据量不多的情况下,不需要用多进程,因为进程的创建和销毁也花时间。
引用参考
https://blog.csdn.net/qq_33666011/article/details/81873217
https://pytorch.org/docs/stable/_modules/torch/utils/data/dataloader.html