PyTorch的Dataset 和TorchData API的比较

深度神经网络需要很长时间来训练。训练速度受模型的复杂性、批大小、GPU、训练数据集的大小等因素的影响。

在PyTorch中，torch.utils.data.Dataset和torch.utils.data.DataLoader通常用于加载数据集和生成批处理。但是从版本1.11开始，PyTorch引入了TorchData库，它实现了一种不同的加载数据集的方法。

在本文中，我们将比较数据集比较大的情况下这两两种方法是如何工作的。我们以CelebA和DigiFace1M的面部图像为例。表1显示了它们的比较特征。我们训练使用ResNet-50模型。然后进行1轮的训练来进行使用方法和时间的比较。

https://avoid.overfit.cn/post/d431289d4723430b882e189008aeb959

posted @   deephub  阅读(33)  评论(0)  编辑  收藏  举报
相关博文：
· PyTorch 并行训练 DistributedDataParallel完整代码示例
· 在Pytorch中为不同层设置不同学习率来提升性能，优化深度学习模型
· PyTorch学习记录(二)：Dataset数据读取
· 高性能PyTorch训练
· 第二章 2.3.1 定义数据集训练神经网络
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2021-12-27 5个很少被提到但能提高NLP工作效率的Python库
2021-12-27 5分钟 NLP：使用 OpenNRE 进行关系提取
点击右上角即可分享
微信分享提示