bert损失函数
BERT 官方代码中的分类模型的损失函数叫做负对数似然函数(且是最小化,等价于最大化对数似然函数),数学表达式是:
![](http://upload-images.jianshu.io/upload_images/8424370-7457e7c011269f80.png?imageMogr2/auto-orient/strip|imageView2/2/w/675/format/webp)
至于为何要定义这样的损失函数,则是因为在实际使用中,常用逻辑回归模型去解决分类问题,当逻辑回归撞上平方损失,损失函数关于参数
非凸。所以,不是分类问题中不使用平方损失,而是逻辑回归不使用平方损失。而代码中的 log_probs 使用了对数,故而不使用平方损失,而使用负对数似然损失函数
BERT 官方代码中的分类模型的损失函数叫做负对数似然函数(且是最小化,等价于最大化对数似然函数),数学表达式是:
至于为何要定义这样的损失函数,则是因为在实际使用中,常用逻辑回归模型去解决分类问题,当逻辑回归撞上平方损失,损失函数关于参数
非凸。所以,不是分类问题中不使用平方损失,而是逻辑回归不使用平方损失。而代码中的 log_probs 使用了对数,故而不使用平方损失,而使用负对数似然损失函数