摘要:
torch.optim是一个实现了多种优化算法的包,大多数通用的方法都已支持,提供了丰富的接口调用,未来更多精炼的优化算法也将整合进来。 为了使用torch.optim,需先构造一个优化器对象Optimizer,用来保存当前的状态,并能够根据计算得到的梯度来更新参数。 要构建一个优化器optimiz 阅读全文
摘要:
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") 这段代码一般写在读取数据之前,torch.device代表将torch.Tensor分配到的设备的对象。torch.device包含一个设备类型(‘cpu’ 阅读全文
摘要:
nn.ReLU与nn.LeakyReLU的区别 因为之前从未接触过这方面,直接接手GAN,有点吃力,如有明显漏洞,请指正,我会感激不尽。 昨晚查阅了ReLU的含义,结果今天发现高老师给的代码中又有一个LeakyReLU,所以今天这个小白贴来对比下两者: 下图是ReLU、Leaky ReLU、PReL 阅读全文