分类算法(Logistic回归算法)
分类算法
线性回归算法不适合分类问题
一个偏差比较大的点会对最终结果产生很大影响
Logistic回归算法
这就是Sigmoid函数或者叫,Logistic函数
HQ(x)=1/(1+e-QTx),函数图像如下
给定参数值以及Q值以后计算出的函数值假如为0.1,就称病人癌症为恶性的概率为70%
是假设函数的一个边界
那么如何得到参数Q的正确取值呢,构造代价函数如下
定义一个新函数
代价函数和Q值图像如下:
??????为什么代价函数等于这个
如果y=1么cost函数的图像如下
如果y=0那么cost函数的图像如下
拟合方式
Logistic拟合方式
其中y恒为0或者1这是定义的。将两个式子整合可以得到一个新的cost函数
‘带入代价函数得到
最小化代价函数得到的q就是满足
’
对重复求偏导就是梯度下降法
其他高级算法优点:
不用手动选择学习率,具有智能内循环,叫做线搜索算法,能够自动选择一个好点的学习率
收敛速度更快
缺点是更加复杂
直接调用库即可,不用理解
多类别分类问题
核心思想:
拟合多个逻辑分类器
输入参数后返回可信度最高效果最好的一个分类器来使用