分类算法(Logistic回归算法)

分类算法

线性回归算法不适合分类问题

 

 

 

一个偏差比较大的点会对最终结果产生很大影响

Logistic回归算法

 

 

 

这就是Sigmoid函数或者叫,Logistic函数

HQ(x)=1/(1+e-QTx),函数图像如下

 

 

 

 

 

 

给定参数值以及Q值以后计算出的函数值假如为0.1,就称病人癌症为恶性的概率为70%

 

 

 

 

 

 

 

 

是假设函数的一个边界

那么如何得到参数Q的正确取值呢,构造代价函数如下

 

 

 

定义一个新函数

 

 

 

代价函数和Q值图像如下:

 

 

 

 

 

??????为什么代价函数等于这个

如果y=1么cost函数的图像如下

 

 

 

如果y=0那么cost函数的图像如下

 

拟合方式

 

 

 

 

 

Logistic拟合方式

 

 

 

其中y恒为0或者1这是定义的。将两个式子整合可以得到一个新的cost函数

 

 

 

‘带入代价函数得到

 

 

 

最小化代价函数得到的q就是满足

 

 

 

 

对重复求偏导就是梯度下降法

其他高级算法优点:

不用手动选择学习率,具有智能内循环,叫做线搜索算法,能够自动选择一个好点的学习率

收敛速度更快

缺点是更加复杂

直接调用库即可,不用理解

  

 

 

多类别分类问题

核心思想:

拟合多个逻辑分类器

 

 

 

输入参数后返回可信度最高效果最好的一个分类器来使用

posted @ 2022-07-12 15:12  凋零_(  阅读(99)  评论(0编辑  收藏  举报