FAQ
1、loss不收敛
- 1、数据是否有问题,label是不是有问题
- 2、查看参数及梯度值,可能存在问题:梯度值为0或者太小(变量的值只保留五位小数)
- 3、参数所在的类,是否加入了optimal的优化参数序列中(不然梯度虽然回传了,但优化器并不会对你的参数产生反应)
如果是一个模型类的列表: 请不要用list类型,使用nn.ModuleList , 如果一个list中包含了三个A类, 把list作为B类的参数的时候(在init函数中赋值),那么这个list里面所有的参数(A类中的参数)都不会被优化, 使用nn.ModuleList可以避免这一点。