Gradient Boost Decision Tree(GBDT)中损失函数为什么是对数形式
由于最近要经常用到XGBOOST的包,不免对相关的GBDT的原理又重新学习了一遍,
发现其中在考虑损失函数的时候,是以对数log进行度量的,囿于误差平方和函数的印象
那么为什么是对数呢?可能是下面的原因:
【通俗的解释】
对数损失是用于最大似然估计的。
一组参数在一堆数据下的似然值,等于每一条数据的概率之积。
而损失函数一般是每条数据的损失之和,为了把积变为和,就取了对数。
再加个负号是为了让最大似然值和最小损失对应起来。
【专业的解释】
链接:http://www.zhihu.com/question/27126057
注:似乎很有道理,大家如果觉得不对,欢迎留言讨论。