很多时候,自己建好了模型,刚开始运行时,有时候发现loss值很大,有时候loss又很小,很大的时候,要训练很久。那么最开始的loss值是多少才合适呢?

如果你是使用的Softmax分类器,我们预测应该可以拿到值为2.302左右的初始loss(因为10个类别,初始概率应该都未0.1,

Softmax损失是-log(正确类别的概率): -ln(0.1)=2.302)。当然是正则化为零的时候。