pytorch - 数据读取机制中的Dataloader与Dataset

从dataset中读取的data数据,怎么获取到的?

 

 

简单描述一下流程图,首先在for循环中去使用DataLoader,进入DataLoader之后是否采用多进程进入DataLoaderlter,进入DataLoaderIter之后会使用sampler去获取Index,拿到索引之后传输到DatasetFetcher,在DatasetFetcher中会调用Dataset,Dataset根据给定的Index,在getitem中从硬盘里面去读取实际的Img和Label,读取了一个batch_size的数据之后,通过一个collate_fn将数据进行整理,整理成batch_Data的形式,接着就可以输入到模型中训练;

读哪些是由Sampler决定的,从哪读是由Dataset决定的,怎么读是由getitem决定的

https://blog.csdn.net/qq_37388085/article/details/102663166

posted @ 2021-10-07 09:59  sushamu  阅读(68)  评论(0编辑  收藏  举报