pytorch persistent_workers
DataLoader中的persistent_workers参数
1 2 3 | torch.utils.data.DataLoader(dataset, batch_size = 1 , shuffle = False , sampler = None , batch_sampler = None , num_workers = 0 , collate_fn = None , pin_memory = False , drop_last = False , timeout = 0 , worker_init_fn = None , multiprocessing_context = None , generator = None , * , prefetch_factor = 2 , persistent_workers = False ) |
-
persistent_workers (bool, optional) – If
True
, the data loader will not shutdown the worker processes after a dataset has been consumed once. This allows to maintain the workers Dataset instances alive. (default:False
)
如果为True,数据加载器将不会在数据集运行完一个Epoch后关闭worker进程。这允许维护worker数据集实例保持激活。(默认值:False)
意思是运行完一个Epoch后并不会关闭worker进程,而是保持现有的worker进程继续进行下一个Epoch的数据加载。
好处是Epoch之间不必重复关闭启动worker进程,加快训练速度。
这样对训练精度是否有影响?True和False的结果似乎会略有差异。
快去成为你想要的样子!
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步