2022年7月19日
Pytorch大批量流式数据IterableDataset实现（包括shuffle操作）
摘要： Pytorch大批量流式数据IterableDataset实现（包括shuffle操作） 对于小批量数，可以完全载入内存的数据集来说，我们一般的实践是通过定义 torch.utils.data.Dataset 这个类类实现，但是对于好几TB甚至更大的数量来说，我们显然无法直接加载到内存，因此我们需要 阅读全文
posted @ 2022-07-19 15:40 佰大于 阅读(2067) 评论(0) 推荐(0) 编辑