机器学习基础---逻辑回归（假设函数与线性回归不同）

一：分类

（一）分类基础

在分类问题中，你要预测的变量y是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。

在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的。

我们从二元的分类问题开始讨论。（当然存在多分类问题，例如y可以取到 0，1，2，3这几个值）

我们将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positive class），则因变量，其中 0 表示负向类（没有某项东西）:良性肿瘤，1 表示正向类（含有某项东西）：恶性肿瘤。

（二）对比线性回归

我们对数据集建立线性模型，得到线性回归函数。同时设置一个阈值y_0=0.5，此时x_0对应y_0,当x<x_0时，则返回0，当x>x_0则返回1。

上面解释似乎很合理，但是当我们出现下面的数据集分布时：

重新建立线性模型，导致原本属于正向类的数据，被划分到负向类中。

因此，不建议将线性回归用于分类问题。

如果我们要用线性回归算法来解决一个分类问题，对于分类， y取值为 0 或者1，但如果你使用的是线性回归，那么假设函数的输出值可能远大于 1，或者远小于0，即使所有训练样本的标签y都等于 0 或 1。尽管我们知道标签应该取值0 或者1，但是如果算法得到的值远大于1或者远小于0的话，就会感觉很奇怪。

所以我们在接下来的要研究的算法就叫做逻辑回归算法，这个算法的性质是：它的输出值永远在0到 1 之间。

顺便说一下，逻辑回归算法是分类算法，我们将它作为分类算法使用。有时候可能因为这个算法的名字中出现了“回归”使你感到困惑，但逻辑回归算法实际上是一种分类算法，它适用于标签y取值离散的情况，如：1 0 0 1。

二：假说表示

（一）模型引出

我们引入一个新的模型，逻辑回归，该模型的输出变量范围始终在0和1之间。

逻辑回归模型的假设是：

其中：X表示特征向量，g表示逻辑函数，是一个常用的逻辑函数（为S形函数Sigmoid function)

Sigmoid function公式：

当z趋于正无穷，g(z)--->1。当z趋于负无穷，g(z)--->0。因此g(z)再(0,1)之间。

因此，完整的逻辑回归模型如下：

（二）参数θ拟合数据

当我们拿到一个数据集，我们需要给参数选定一个值。假说模型会帮我们做出预测。

三：决策边界

（一）假设函数的属性---决策边界

决策边界这个概念能更好地帮助我们理解逻辑回归的假设函数在计算什么。

在逻辑回归中，我们预测：

根据上面绘制出的 S 形函数图像，我们知道：

现在假设我们有一个模型：

并且假设我们拟合好了参数，参数θ是向量[-3 1 1].则当-3+x_1+x_2>=0，即x_1+x_2>=3时，模型将预测y=1。

我们可以绘制直线x_1+x_2=3,这条线便是我们模型的分界线，将预测为1和预测为0的区域分开。

这条洋红色线，被称为决策边界。具体地说，这条直线x_1+x_2=3。它对应h(x)=0.5的区域。

决策边界，也就是这条直线将整个平面分成了两部分，其中一片区域假设函数预测y等于1，而另一片区域假设函数预测y等于0。

决策边界是假设函数的一个属性：

它包括参数θ_0 θ_1 θ_2。

即便我们去除这个数据集之后：

这条决策边界，以及我们预测y=1,与y=0。他们都是假设函数的属性，决定于其参数θ_j，而不是数据集的属性（不同于线性回归）

当然，我们后面还将讨论如何拟合参数，那时，我们将使用训练集，使用我们的数据来确定参数的取值。

但是，一旦我们有确定的参数取值，有确定的θ0 θ1 θ2，我们就将完全确定决策边界。

这时，我们实际上并不需要在绘制决策边界的时候，绘制训练集。

（二）复杂数据集

给定一个这样的训练集，我们如何使用逻辑回归来拟合这些数据？

早些时候，当我们谈论多项式回归或者线性回归时，我们谈到可以添加额外的高阶多项式项，同样我们也可以对逻辑回归使用相同的方法。

添加了两个额外的特征，x_1方和x_2方。并且我现在有5个参数，θ_0到θ_4。

假设我们以及拟合了参数θ_j是[-1 0 0 1 1]

这样我们就可以获得决策边界：

因此，通过增加这些复杂的多项式特征变量，可以得到更复杂的决定边界，而不只是用直线分开正负样本。

再次强调：决策边界不是训练集的属性，而是假设本身及其参数的属性。我们不是用训练集来定义的决策边界，而是用训练集来拟合参数θ

四：代价函数---拟合逻辑回归模型的参数θ

如何自动选择参数θ，使我们能在给定一个训练集时，我们可以根据数据自动拟合参数θ。

（一）原始代价函数

具体来说，我要定义用来拟合参数的优化目标或者叫代价函数，这便是监督学习问题中的逻辑回归模型的拟合问题。

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将

带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数non-convexfunction。

这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。

相应的，我们希望我们的代价函数J(θ)是一个如下的凸函数：

所以我们对这个凸函数使用梯度下降法，就可以确保一定可以收敛到该函数的全局最小值。

但是由于我们中间的的h(x)函数是非线性的，就导致了代价函数是非凸函数。

（二）修正后的代价函数

我们重新定义逻辑回归的代价函数为：

推导-log(h(x)):

注意：，所以h(x)的取值范围在(0,1)之间。

全部-log(h(x))和-log(1-h(x))表示：

因为是分类（逻辑回归），所以y取值只有y=1和y=0两种，每种对应一个cost方法。

则h(x)和cost(h(x),y)之间的关系如下图所示：

上图是y=1的情况下，cost代价值（纵轴）和h(x)预测值（横轴）之间的关系。

其性质是：

当预测值是h(x)=1,实际标签值y也是为1，那么cost代价值则为0。

但是当预测值是0，实际标签值是1，那么cost代价值是∞大，这就说明我们的预测是错误的，那么我们就用非常非常大的代价值来惩罚这个学习算法。

是y=0的情况下，cost代价值（纵轴）和h(x)预测值（横轴）之间的关系。

当预测值是h(x)=0,实际标签值y也是为0，那么cost代价值则为0。

但是当预测值是1，实际标签值是0，那么cost代价值是∞大，这就说明我们的预测是错误的，那么我们就用非常非常大的代价值来惩罚这个学习算法

（三）将y=1和y=0的cost函数合并，简化

将构建的cost(h(x),y)简化如下：（不再单独区分y=0和y=1)

带入代价函数得到：

即：

补充：这是由最大似然函数来的，是一个凸函数

（四）代码实现cost

import numpy as np
def cost(theta, X, y):
  　　theta = np.matrix(theta)
  　　X = np.matrix(X)
  　　y = np.matrix(y)
 　　 first = np.multiply(-y, np.log(sigmoid(X* theta.T)))
 　　 second = np.multiply((1 - y), np.log(1 - sigmoid(X* theta.T)))
  　　return np.sum(first - second) / (len(X))

其中，h(x)如下：是一个sigmod函数，传参为X*theta.T

五：梯度下降法---为训练集拟合出来参数θ

在得到这样一个代价函数以后，我们便可以用梯度下降算法来求得能使代价函数最小的参数了。

算法为：

求导后得到：

注：虽然得到的梯度下降算法表面上看上去与线性回归的梯度下降算法一样，但是这里的

与线性回归中不同，所以实际上是不一样的。

推导过程：

所以：

另外，在运行梯度下降算法之前，进行特征缩放依旧是非常必要的。特征缩放依旧适用于逻辑回归。

六：高级优化

（一）梯度下降法

一些高级优化算法和一些高级的优化概念，利用这些方法，我们就能够使通过梯度下降，进行逻辑回归的速度大大提高，而这也将使算法更加适合解决大型的机器学习问题，比如，我们有数目庞大的特征量。现在我们换个角度来看什么是梯度下降:

我们有个代价函数J(θ),而我们想要使其最小化，那么我们需要做的是编写代码，当输入参数θ时，它们会计算出两样东西：J(θ)以及J等于 0、1直到n时的偏导数项。

梯度下降所做的就是反复执行这些更新,从而来更新参数θ。

（二）其他高级算法

然而梯度下降并不是我们可以使用的唯一算法，还有其他一些算法，更高级、更复杂。

如果我们能用这些方法来计算代价函数J(θ)和偏导数两个项的话，那么这些算法就是为我们优化代价函数的不同方法。

共轭梯度法，BFGS (变尺度法) 和L-BFGS (限制变尺度法) 就是其中一些更高级的优化算法，它们需要有一种方法来计算J(θ），以及需要一种方法计算导数项。

然后使用比梯度下降更复杂的算法来最小化代价函数。这三种算法的具体细节过于麻烦，这里只需要了解一些他们的特性：

一个是使用这其中任何一个算法，你通常不需要手动选择学习率α ，所以对于这些算法的一种思路是：
给出计算导数项和代价函数的方法，你可以认为算法有一个智能的内部循环。
而且，事实上，他们确实有一个智能的内部循环，称为线性搜索(line search)算法，它可以自动尝试不同的学习速率α ，并自动选择一个好的学习速率α，
因此它甚至可以为每次迭代选择不同的学习速率，那么你就不需要自己选择。
这些算法实际上在做更复杂的事情，而不仅仅是选择一个好的学习率，所以它们往往最终收敛得远远快于梯度下降。
而且我们往往不需要特别去了解算法的内部细节（太复杂），就可以很好的使用他，到各种应用场景

举例使用：