随笔分类 - 深度学习
摘要：Pytorch大批量流式数据IterableDataset实现（包括shuffle操作） 对于小批量数，可以完全载入内存的数据集来说，我们一般的实践是通过定义 torch.utils.data.Dataset 这个类类实现，但是对于好几TB甚至更大的数量来说，我们显然无法直接加载到内存，因此我们需要
阅读全文
摘要：x = torch.tensor([0, 1, 2, 3]).float().view(4, 1)def test_assign(x): # 赋值操作 x_expand = x.expand(-1, 3) x_repeat = x.repeat(1, 3) x_expand[:, 1] = torc
阅读全文
摘要：如何提高GPU利用率（更新中） 核心宗旨：通过调整网络结构，batcsize大小，worker 数量，让数据读取的时间与网络前向传播和反向更新时间大致相同 一般的瓶颈就在 I/O 上面，因此可以预先把很多图片、特征等小文件存储到 LMDB 数据库，加快磁盘 I/O 速度，工具传送门, 项目首页有安装
阅读全文
