逻辑回归,我现在面临一个挑战,如何从似然函数(或概率)的角度去理解w^T*x-b = 0这条直线(就是我们的模型);
似然函数J(\theat),theat代表模型参数。就是下图中w^T*x-b= 0这条直线。
1、似然函数和损失函不一个概念。但两者的目的都用来评价模型的好坏。
2、损失函数loss function。是通过加法的形式,对每个样本进行遍历(或者说判定),不断更新loss function;比如在SVM中,我希望margin(=1/||w||)尽可能的宽,也就是||w||尽可能得小,所以||w||本身就构成了loss function的一部分。同时,我们还希望所有的样本都不要落入到margin中,换句话说,就是落到margin之后,要对其进行惩罚,增加loss。这也解释了为什么用hingeloss(每个负样本对loss的贡献如下:max(0, 1+w^T*x_i-b),每个正样本对loss的贡献如下:max(0, 1-(w^T*x_i-b))。怎么理解这两个公式呢?很好理解,比如,max(0, 1+w^T*x_i-b), 令w^T*x_i-b = -1,相当于w^T*x_i-b=0这条直线沿这法线方向向下平移1个单位,只要样本在w^T*x_i-b=-1之下,那么对loss就没有贡献。同理正样本类似)
3、似然函数。是通过乘法的形式,对每个样本进行遍历。
1)首先给定一个模型参数\theat,那么就可以知道每个样本在给定\theat前提下,出现的概率。如何做呢?(->通过一个函数(sigmoid函数)转换成概率p(x_i,\theta),代表在\theat的前提下,样本x_i出现的概率。)
2)遍历所有的样本,每个样本出现的概率都为p(x_i,\theta);
3)似然函数J(\theta),等于所有样本p(x_i,\theta)连乘;
4)综上,在给定\theat(就是w^T*x-b= 0中的w^T和b参数)的前提下,通过概率的视角评价模型的好坏。换句话说,在给定一个条直线w^T*x-b= 0后,如何评价这条直线的好坏呢?通过G1中所有样本被预测为正样本、G2中所有样本被预测为负样本的联合概率进行评价,如果概率很小,是不是说明这条直线就很拉胯,如果概率非常大,是不是说明这条支直线就很棒,也就是我们要找的模型啦?
----------------------------------------------------------------------------------------------------------------
以上,是我在2021年8月7日11:08:10对逻辑回归的思考和理解。如有不当,请指正,欢迎讨论。