线性回归和逻辑回归的关系

线性回归和逻辑回归的关系

一、总结

一句话总结：

【需求是让f(x)来拟合[0,1]】，这个时候应该怎么做呢。拟合[0,1]就是【二分类】的问题。

【阶跃函数不连续，不可导】，所以就【用sigmoid】，所以就是逻辑回归了

逻辑回归：$$y = \frac { 1 } { 1 + e ^ { - ( w ^ { T } x + b ) } }$$

 

 

二、线性回归和逻辑回归的关系

博客对应课程的视频位置：

 

1、线性回归

一般形式：$$f ( x ) = w _ { 1 } x _ { 1 } + w _ { 2 } x _ { 2 } + \ldots + w _ { d } x _ { d } + b$$
向量形式：$$f ( x ) = w ^ { T } x + b，其中w为w = ( w _ { 1 } ; w _ { 2 } ; \ldots ; w _ { d } )$$

 

2、拟合[0,1]

这样的f(x)是用来拟合整个实数级的，而如果我的需求是让f(x)来拟合[0,1]，这个时候应该怎么做呢。拟合[0,1]就是二分类的问题。
于是，我们需【将实值f(x)转换为0/1值】.最理想的是【“单位阶跃函数”（unit-step function）】:$$y = \left\{ \begin{array} { c l } { 0 , } & { z < 0 } \\ { 0.5 , } & { z = 0 } \\ { 1 , } & { z > 0 } \end{array} \right.$$

3、线性回归和逻辑回归的关系

但是，阶跃函数不连续，不可导，所以就用sigmoid，所以就是逻辑回归了

逻辑回归：$$y = \frac { 1 } { 1 + e ^ { - ( w ^ { T } x + b ) } }$$