逻辑回归问题

此系列笔记来源于

Coursera上吴恩达老师的机器学习课程

---

逻辑回归问题

逻辑回归问题由于历史原因，是属于分类问题的一种

下面都以二元分类问题为例

假设函数

在线性回归问题中，我们设定假设函数为$h_\theta(x) = \theta^Tx$

但在逻辑回归问 题中，如果$y\in\{0,\;1\}$，那么显然$h_\theta<0\;or\;h_\theta>1$是不合理的。为了能有利于分类，我们便希望$0 \le h_\theta(x) \le 1$。

因此我们设$h_\theta=g(\theta^Tx),\;g(z) = \frac{1}{1 + e^{-z}},\;z=\theta^Tx$

我们称$g(z)$为逻辑函数 Logistic Function 或者 Sigmoid Function

函数图像如下：

这样对任意$x\in\R$我们都可以得到$h_\theta(x)\in(0,\;1)$

而在这里的$h_\theta(x)$告诉了我们输出值为1的可能性，同时输出值为0的可能性也就是$1 - h_\theta(x)$

$h_\theta(x) = P(y=1|x;\theta)=1-P(y=0|x;\theta)$

决策边界

当 $h_\theta < 0.5$ 时，我们预测 0，当 $h_\theta \ge 0.5$ 时，我们预测 1。

我们很容易发现当 $z \lt 0$ 时，我们会得到 0，而 $z \ge 0$ 时，我们会得到 1

根据训练集，我们拟合出 $\theta$ 后便能得到 $z(x)$ 的表达式。从而我们便能根据 $z(x) \ge 0\;或者\;z(x) < 0$ 来画出图像，从而得到这一条决策边界，帮助我们划分出两块区域。

例：

代价函数

为了能使用梯度下降算法，我们希望代价函数是凸函数(convex)，因此我们令

$J(\theta)=\frac{1}{m}\sum^m_{i=1}Cost(h_\theta(x^{(i)},\;y^{(i)}))$

$Cost(h_\theta(x),\;y)=-log(h\theta(x))\;\;\;if\;y = 1$

$Cost(h_\theta(x),\;y)=-log(1-h\theta(x))\;\;\;if\;y = 0$

函数图像如下：

我们可以知道当 $h_\theta=y$ 时，$Cost(h_\theta,\;y) = 0$

而当 $h_\theta\rightarrow t\;且\;t\neq y$ 时，则 $Cost(h_\theta,\;y)\rightarrow\infin$

可以理解为学习了一个错误，花了极大代价。

如此一来，我们便能令代价函数为凸函数，为了逻辑回归。

最终我们还可以简化 Cost函数，不用分类，即：

$Cost(h_\theta(x),\;y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x))$

代价函数则为：

$J(\theta)=-\frac{1}{m}\sum^m_{i=1}[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$

向量化(vectorized) 后则为：

$h=g(X\theta)$

$J(\theta)=\frac{1}{m}\cdot(-y^Tlog(h)-(1-y)^Tlog(1-h))$

梯度下降算法

运用到梯度算法中，公式并没有改变，区别仅在于 $h_\theta$ 函数的改变。

$Repeat \{$

$\theta_j:=\theta_j-\frac{\alpha}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$

$\}$

向量化后：

$Repeat \{$

$\theta:=\theta-\frac{\alpha}{m}X^T(g(X\theta)-\overrightarrow y\;)$

$\}$

Advanced Optimization

"Conjugate gradient", "BFGS", and "L-BFGS"比起梯度下降更加高效，但更加复杂。我们可以通过调用相关被封装好的库函数，来代替梯度下降。

首先我们需要写一个函数，根据 $\theta$ 得到 $J_\theta$ 和 $\frac{\part}{\part\theta_j}J(\theta)$

f unction [jVal, gradient] = costFunction(theta)
  jVal = [...code to compute J(theta)...];
  gradient = [...code to compute derivative of J(theta)...];
end

之后便可以通过调用 “fminunc()”函数 和 “optimset()”函数来进行计算

options = optimset('GradObj', 'on', 'MaxIter', 100); %GradObj 'on'意味着要给该算法提供一个梯度，MaxIter 100意味着最多迭代一百次
initialTheta = zeros(2,1);
   [optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);

多元分类

当 y 的值拓宽到 1 - n 时，我们可以将问题转化为二元分类问题

我们设定 n 个分类器，每个分类器将第 i 个类和其他类分为两类。

即：$h_\theta^{i}(x) = P(y=i|x;\theta),\;i\in\{0,1...n\}$

此时我们的 prediction值即为$max_i(h_\theta^{(i)}(x))$

过度拟合 Overfitting

过度拟合指的是，根据训练集，我们设定的假设函数过度与训练集拟合，这可能会对接下来的预测产生不好的影响。

在线性回归问题中，当我们设定的特征函数不够拟合训练集，称为 ”欠拟合“(underfitting) 或者 “高偏差“(high bias)，相反过度拟合训练集时，称为”过度拟合“(overfitting) 或者 “高方差”(high variance)

而这两种情况都无法很好的预测数据的趋势。

如何解决这两种情况：

1、减少特征数量

2、正则化 Regularization

正则化 Regularization

为了去减少特征值的影响力，而不是直接删除，我们可以通过加一些项来达到这一效果。

这样一来，如果原来假设函数是一个四次函数，且我们通过正则化去减少最高两项的系数$\theta_3$ 和 $\theta_4$的值，从而使假设函数更加quadratic，那么便能得到一个更为简单的假设，更不易发生过度拟合。

同理，我们可以通过一个式子对所有 $\theta$参数进行正则化：

$ min_\theta\frac{1}{2m}[\sum^{m_{i=1}(h_\theta(x})-y^{(i)})2+\lambda\sum^{n_{j=1}\theta_j}2]$

$\lambda$ 称为正则化参数。正则化参数过大可能会导致欠拟合，

正则化后的线性回归

梯度下降：

$Repeat \{$

$\theta_0:=\theta_0-\frac{\alpha}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})x_0^{(i)}$

$\theta_j:=\theta_j-\alpha[(\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)})+\frac{\lambda}{m}\theta_j],\;j\in\{1,2 ...n\}$

$\}$

在这里，$\frac{\lambda}{m}\theta_j$便是正则化的部分。

第二个式子进行变形后可以得到：$\theta_j:=\theta_j(1-\alpha\frac{\lambda}{m})-\frac{\alpha}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$

而第一项中的 $1-\alpha\frac{\lambda}{m}$ 始终小于1

正规方程

经过证明后，我们可以得到 $X^TX+\lambda\cdot L$ 是一定可逆的

正则化后的逻辑回归

代价函数

梯度计算

$\frac{\part J}{\theta_j}=\frac{1}{m}\sum^m_{i=1}((h_\theta(x^{(i)})-y^{(i)})x_j^{(i)})+\frac{\lambda}{m}\theta_j,\;for\;j\ge1$

梯度下降

$Repeat \{$

$\theta_0:=\theta_0-\frac{\alpha}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})x_0^{(i)}$

$\theta_j:=\theta_j-\alpha[(\frac{1}{m}\sum^m_{i=1}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)})+\frac{\lambda}{m}\theta_j],\;j\in\{1,2 ...n\}$

$\}$