[machine-learning学习笔记]逻辑回归

逻辑回归

目的：分类

一、Sigmoid函数

​ 公式如下：

$$g(z) = \frac {1}{1+e^{-z}}$$

​ 图中$Sigmoid$函数将任意输入映射到$[0,1]$区间，我们通过线性回归的到预测值，再将该值映射到$Sigmoid$函数中，这样就完成了值到概率的转换。变成了分类任务。

​ 利用$Sigmoid$函数得出的预测函数：

$$h_{\theta} = g(\theta^Tx) = \frac{1}{1+e^{-\theta x}}$$

​ 其中

$$\theta_0 + \theta_1x_1+,...,+\theta_nx_n = \sum_{i=1}^{n}\theta_ix_i = \theta^Tx$$

​ 这个就和线性回归中的函数很像了。

​ 由于是二分类，只有$True$、$False$两种结果，因此由上述函数得到的预测分类的概率分别为：

$$P(y=1|x;\theta) = h_{\theta}(x)$$

$$P(y=0|x;\theta) = 1-h_{\theta}(x)$$

​ 因此

$$P(y|x;\theta) = (h_{\theta}(x))^y(1-h_{\theta}(x))^{1-y}$$

​ 解释：这里只不过是把上面$P(y=1)P(y=0)$整合了一下。

​ 利用似然函数来得到损失函数（如果不太清楚直接看损失函数就可以，这里损失函数与线性回归不一样），似然函数如下：

$$L(\theta) = \prod_{i=1}^m(h_{\theta}(x_i))^{y_i}(1-h_{\theta}(x_i))^{1-y_{i}}$$

​ 将似然函数取对数得损失函数为：

$$l(\theta) = logL(\theta) = \sum_{i=1}^{m}(y_ilogh_{\theta}(x_i)+(1-y_i)log(1-h_{\theta}(x)))$$

​ 我们得到代价函数为（$for\quad each \quad\theta$）:

$$J(\theta) = -\frac{1}{m}\sum_{i=1}^m[l(\theta)]$$

​ 我们的目标为最小化代价函数。

​ 那么，为什么要这样来构造损失函数呢？

​ 因为如果按照线性回归的方法来构造损失函数，那么得到的函数并不是凸函数，由于初始化参数不同，很容易走到局部最小值点而非全局最小值点。采用如上方法构造的函数为凸函数，这使得其能更好的利用到梯度下降算法中。（关于推导记住就行）
​

​ 我们采用梯度下降法时的偏导数如下，

​

$$\frac {\partial}{\partial_{\theta_j}}J(\theta) = \frac{1}{m}\sum_{i=1}^m(h_{\theta}(x_i)-y_i)x_i^j$$

​ 因此，我们进行同步更新时的柿子：（看起来和线性回归差不多）

$$\theta_j = \theta_j-\alpha\frac {\partial}{\partial_{\theta_j}}J(\theta)$$

​ 总结：逻辑回归是要预测二分类问题，在线性回归的基础上增加了一个$sigmoid$外壳，然后改写损失函数，进而将其变为凸函数，从而更好地进行梯度下降操作。