weight_decay in Pytorch

在训练人脸属性网络时，发现在优化器里增加weight_decay=1e-4反而使准确率下降

pytorch论坛里说是因为pytorch对BN层的系数也进行了weight_decay，导致BN层的系数趋近于0，使得BN的结果毫无意义甚至错误

当然也有办法不对BN层进行weight_decay，

详见pytorch forums讨论1
pytorch forums讨论2

posted @ 2020-05-08 13:56  happy_fan  阅读(1546)  评论(0)  编辑  收藏  举报