加快pytorch训练速度
加快Pytorch训练速度
num_workers
- num_worker=0表示只用主进程读取数据， num_worker=4/8表明使用额外的4/8子进程读取数据
- 一般来说，增大num_worker可以增加GPU的利用率，从而加快训练的速度。
- 但是有时候即使增大num_worker也无法提高GPU利用率，这是因为训练的瓶颈在IO
多个小文件->单个大文件
- 使用hdf5文件：缺点是需要全部读入内存
- 使用lmdb文件
pytorch tricks合集
Efficient pytorch
