pytorch小型数据深度学习dataloader加载时间过长的问题
摘要：
本人使用的训练数据是一维的谱数据，本应加载速度十分快速，但实际每个epoch用在加载上的时间有足足5~8s。 排查发现dataloader的numworkers设置为了4，由于数据本身加载仅用很短的时间（0.01s数量级）因此dataloader创建新进程的时间比数据加载的时间多太多，导致性能变慢， 阅读全文
posted @ 2021-11-25 09:16 crazyplayer 阅读(891) 评论(2) 推荐(3) 编辑
