逻辑回归(logistic Regression)

分类问题

在分类中，如果要预测的变量y的离散的，我们将这一学习过程称之为逻辑回归，可以判断的二元以至多元问题

二元分类

两个类分别为正向、负向类，因变量y={0，1}，0为负向类，1为正向类，预测过程中，我们设置一个阈值，例如$h(\theta) > 0.5 \ y=1 \ \\h(\theta)<=0.5 \ y=0$

对于逻辑回归算法，我们要做到的是，将输出值控制在0-1之间

假说表示

要实现因变量y的值在0-1之间， 我们要引入逻辑回归模型，回归模型的假设是 $h_\theta(x) \;=\; g(\theta^TX)$

X为特征向量，g表示的是逻辑函数，假设中$\theta^TX$即为求得的y，经过g逻辑函数变换之后得到0-1之间的值

常用的g函数有sigmoid函数 $g(z) = \frac{1}{1+e^{-z}}$

$h_\theta(x)$的作用就是给出输入变量为正向类的几率，比如$h_\theta(x) = 0.7$表明有70%的几率使y为正向类（y=1），那么

P(y=0|x;$\theta$) = 1 - $h_\theta(x)$ = 0.3

判断边界

逻辑回归时

当$h_\theta(x)>=0.5$，也就是$g(\theta^TX)>=0.5$ 预测y = 1

当$h_\theta(x)<0.5$，也就是$g(\theta^TX)<0.5$预测y = 0

反映在坐标轴上就是（x轴表示正负向）

代价函数

对于线性回归模型的损失(代价)函数，使用的是所有实例（模型）的误差的平方和，代价函数是光滑的如下图

但是对于例如逻辑回归模型中用的$h_\theta(x) = \frac{1}{1+e^{-\theta^TX}}$是非线性的，表现在坐标轴上是一个非凸函数，例如下图

也就意味着损失（代价）函数存在很多的局部最优解（极小值），会影响梯度下降算法寻找最小值

面对这种情况我们要做的是找到一种损失（代价）函数的构造方法使得其为凸函数（convex），

损失函数$J(\theta) = \frac{1}{m} \sum^m_{i=1}Cost(h_\theta(x^{(i)}),y^{(i)})$

其中$Cost(h_\theta(x),y) = \left\{ \begin{aligned} -log(h_\theta(x)) \quad if \ y = 1 \\-log(1-h_\theta(x)) \quad if \ y = 0\end{aligned} \right.$

上述损失函数的图像如下

当y=1的时候，如果预测值h=0，那么损失函数肯定趋于无穷大，反之y=0，预测值=1同理

简化的成本函数和梯度下降

以上损失函数公式可以化简为

$Cost(h_\theta(x),y) = -y*log(h_\theta(x))-(1-y)*log(1-h_\theta(x))$

代价函数也就是$J(\theta) = \frac{1}{m} \sum_{i=1}^mCost(H_\theta(x),y)$

有上面这样一个代价函数之后，我们就可以使用梯度下降

$\theta_j = \theta_j - \alpha \frac{\partial}{ \partial \theta_j}J(\theta)$

也就是 $\theta_j = \theta_j - \alpha \frac{1}{m} \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$

上述式子需要注意的是，逻辑回归的预测值函数与线性回归的不同，使用的是sigmoid函数，而不是直接计算$\theta^TX$，所以与线性回归并不相同

高级优化

与梯度下降不同，我们也有一些更高级、复杂的算法，类似共轭梯度法BFGS，L-BFGS（限制变尺度法）

以上几种高级方法的有点是，不需要手动设置 $\alpha$值且往往比梯度下降法更加快速，但是更加复杂

多类别分类：一对多

简单的举例：要将病人当前的状态分类，y=0表示没生病 y=1表示感冒，y=2表示流感

相当于有三块聚集的类别且各不相同，这种一对多的分类问题又被称之为一对余的方法，也就是先选定一个类别作为正向类1，其余的类别相当于反向类0，如下图所示

。

也就相当于我们得到了三个分类器分别将这类1，2，3分为 类1&&其他，类2&&其他，类3&&其他

记录为$h^{(i)}_\theta(x)$ ,其中类i为正向类，其余为负向类， 且$h^{(i)}_\theta (x)= p(y=i|x;\theta) (i=1,2,3...k)$，在预测时，将自变量x带入每一个预测模型中，选择P最大的模型，找出相应的类别