GAN中train与eval训练
1.问题
https://discuss.pytorch.org/t/why-dont-we-put-models-in-train-or-eval-modes-in-dcgan-example/7422
链接中问题当在生成时,如果将generator状态设置为eval(),那么就会模式坍缩,只生成一张图片。
回答:
GAN的训练非常不稳定,eval不如train模式下稳定,为了模型在eval的时候稳定,在结束训练时,需要先用一个minibatch做生成,这样bn层的mean和std都会稳定。
# Training phase G.train() D.train() for epoch in range(n_epoch): .... # train D and G # Now run generation for a few min-batch while keeping the mode as "train" for _ in range(additional_iters): z = ... # sample a z _ = G(z) # Now switch to eval mode to do the actual generation G.eval() D.eval() z = ... samples2output = G(z)
但eval的时候mean和std会有什么影响吗?
2.训练技巧
https://www.jianshu.com/p/aab68eb0f7ed
误差曲线走向:
理想的Generator loss的误差曲线应该是不断往0靠的下降的抛物线。
理想的Discrimnator loss的误差曲线应该是最终在0附近振荡,即傻傻分不清。换言之,就是判别器有50%的概率判断你是真的,50%概率判断你是假的。
https://zhuanlan.zhihu.com/p/188734829
- 在生成器损失使用梯度惩罚情况下,判别器尽量避免使用BN
- 避免梯度稀疏及信息丢失: