机器学习西瓜书笔记---3.3、对数几率回归

机器学习西瓜书笔记---3.3、对数几率回归

一、总结

一句话总结：

【系统】：系统的学习非常非常重要，所以看书是非常非常必要且高效的

你之前【很多不懂的问题】，系统看书，【书上介绍的不能再详细】

 

 

1、为什么从阶跃函数变成对数几率函数（sigmoid）？

【阶跃函数不连续，不可求导】：单位阶跃函数不连续，因此不能直接用作式（3.15）中的g（-）.于是我们希望找到能在一定程度上近似单位阶跃函数的“替代函数”（arrogate function），并希望它【单调可微】.对数几率函数（logistic function）正是这样一个常用的替代函数：$$y = \frac { 1 } { 1 + e ^ { - z } }$$

 

 

2、什么是对数几率回归？

【对数几率函数】：$$y = \frac { 1 } { 1 + e ^ { - z } }$$

【对数几率回归】就是【逻辑回归】：$$y = \frac { 1 } { 1 + e ^ { - ( w ^ { T } x + b ) } }$$

由此可看出，式（3.18）实际上是在用线性回归模型的预测结果去【逼近真实标记的对数几率】，因此，其对应的模型称为“对数几率回归”（logistic regression，亦称 logit regression）.

特别需注意到，虽然它的名字是“回归”，但实际却是一种【分类学习方法】：是因为在【用回归（线性回归）做分类的事情】

 

 

3、为什么有对数几率回归？

上一节讨论了如何使用线性模型进行回归学习，但【若要做的是分类任务该怎么办】？

答案蕴涵在广义线性模型中：【只需找一个单调可微函数将分类任务的【真实标记y】与线性回归【模型的预测值】联系起来】

考虑二分类任务，其输出标记【y∈{0，1}】，而线性回归模型产生的预测值_$z = w ^ { T } x + b_$是【实值】，于是，我们需【将实值z转换为0/1值】.最理想的是【“单位阶跃函数”（unit-step function）】:$$y = \left\{ \begin{array} { c l } { 0 , } & { z < 0 } \\ { 0.5 , } & { z = 0 } \\ { 1 , } & { z > 0 } \end{array} \right.$$

若预测值【z大于零就判为正例，小于零则判为反例】，预测值为临界值零则可任意判别

 

4、对数几率回归中的几率和对数分别指什么？

【对数几率回归】就是【逻辑回归】：$$y = \frac { 1 } { 1 + e ^ { - ( w ^ { T } x + b ) } }$$

可化为：$$\ln \frac { y } { 1 - y } = w ^ { T } x + b$$

若将y视为样本x作为正例的可能性，则1-y是其反例可能性，【【两者的比值y/(1-y)】，称为“几率”（odds），反映了x作为正例的相对可能性】.

【对几率取对数】则得到“对数几率”（log odds，亦称 logit）：$$\ln \frac { y } { 1 - y }$$

 

5、注意对数几率函数与“对数函数”ln(-)不同？

对数几率函数：$$y = \frac { 1 } { 1 + e ^ { - z } }$$

对数函数：ln(-)

 

6、对数几率回归的优点？

【直接建模，无需分布】：这种方法有很多优点，例如它是【直接对分类可能性进行建模，无需事先假设数据分布】，这样就避免了偎设分布不准确所带来的问题；

【不仅类别，而且预测出了概率】：它不是仅预测出【“类别”】，而是可得到【近似概率预测】，这对许多需利用概率辅助决策的任务很有用；

【方便求导】：此外，对率函数是【任意阶可导的凸函数】，有很好的数学性质，现有的许多【数值优化算法】都可直接用于求取最优解

 

 

二、内容在总结中

博客对应课程的视频位置：