Pytorch学习笔记

1. 最好不要有in-place操作， 可能会影响到求导部分，而且并不会减少太多的存储

2. 支持类似于numpy的broadcasting  tensor 乘法

3. 数据读取非常方便，按照要求arrange 好文件夹就可以了ImageFolder 和DataLoader

4. 一般都是在__init__初始化一些网络参数， relu这种没参数的Function都是在forward里面调用的，如果想要快速构建网络，可以使用nn.Sequential在__init__里面初始化，它是默认就会带有nn.relu的，这样的话在forward阶段就可以很简单的构建整个网络了。