我的机器学习之旅（四）：回归与工程应用

内容:线性回归；逻辑回归，应用场景。

一、线性回归

有监督学习，根据学习样本{x->y},学习一个映射f：X->Y(线性相关),输出预测结果y_i。最简单的例子：y=ax+b

重要组成：训练数据集 training set, 学习算法 learning algorithm, 损失函数 loss function.

训练数据集：x-->y的对应数据

损失函数cost： 权衡训练到的x-y的映射的好坏，最小化这个损失函数。 比较常见的最小二乘法，一般为凸函数

学习算法：梯度下降，逐步最小化损失函数，朝着斜率为负的方向迈进。关键知识点：学习率，终止条件，欠/过拟和，正则化

过拟合：特征过多，对源数据拟合的很好但是丧失了一般性，对预测样本预测效果差

欠拟合：模型没有很好地捕捉到数据特征，不能够很好地拟合数据 。

正则化：类似于模型参数与误差的平方和最小（L2）.

例，拟合一个y=ax+b.

取X_i=[x1,x2]^T,$$\theta=[a,b], y_i=\theta*X$$

，

python代码实现:

##梯度下降的过程

import numpy as np

def gradientDesc(x,y, theta=np.zeros((2,1)),alpha=.01,iterations=1000):

    m=y.size
    J=[]

    for numbers in range(iterations):
        a = theta[0][0] - alpha * (1 / m) * sum((x.dot(theta).flatten() - y.flatten() ) * x[:, 0])
        b = theta[1][0] - alpha * (1 / m) * sum((x.dot(theta).flatten() - y.flatten() ) * x[:, 1])
        theta[0][0],theta[1][0] = a,b
        J.append(cost(x,y,theta))
        if numbers%100==0:print("第%d步:%.3f,%.3f"%(numbers+100,theta[0][0],theta[1][0]))
    return theta
def cost(x,y,theta=np.zeros((2,1))):
    m=len(x)
    J = 1 / (2 * m) * sum((x.dot(theta).flatten() - y) ** 2)
    return J

##测试

x=np.array([[1,2],[2,1],[3,1],[4.1,1]])
y=np.array([[1],[2],[3],[4.1]])

theta = gradientDesc(x,y)

二、逻辑回归

要说逻辑回归，我们得追溯到线性回归，想必大家对线性回归都有一定的了解，即对于多维空间中存在的样本点，我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示：

    线性回归能对连续值结果进行预测，而现实生活中常见的另外一类问题是，分类问题。最简单的情况是是与否的二分类问题。比如说医生需要判断病人是否生病，银行要判断一个人的信用程度是否达到可以给他发信用卡的程度，邮件收件箱要自动对邮件分类为正常邮件和垃圾邮件等等。

    当然，我们最直接的想法是，既然能够用线性回归预测出连续值结果，那根据结果设定一个阈值是不是就可以解决这个问题了呢？事实是，对于很标准的情况，确实可以的，这里我们套用Andrew Ng老师的课件中的例子，下图中X为数据点肿瘤的大小，Y为观测结果是否是恶性肿瘤。通过构建线性回归模型，如hθ(x)所示，构建线性回归模型后，我们设定一个阈值0.5，预测hθ(x)≥0.5的这些点为恶性肿瘤，而hθ(x)<0.5为良性肿瘤。

 

    但很多实际的情况下，我们需要学习的分类数据并没有这么精准，比如说上述例子中突然有一个不按套路出牌的数据点出现，如下图所示：

 

    你看，现在你再设定0.5，这个判定阈值就失效了，而现实生活的分类问题的数据，会比例子中这个更为复杂，而这个时候我们借助于线性回归+阈值的方式，已经很难完成一个鲁棒性很好的分类器了。

    在这样的场景下，逻辑回归就诞生了。它的核心思想是，如果线性回归的结果输出是一个连续值，而值的范围是无法限定的，那我们有没有办法把这个结果值映射为可以帮助我们判断的结果呢。而如果输出结果是 (0,1) 的一个概率值，这个问题就很清楚了。我们在数学上找了一圈，还真就找着这样一个简单的函数了，就是很神奇的sigmoid函数(如下)：

\(g(z)=\frac{1}{1+e^{-z}}\)

    如果把sigmoid函数图像画出来，是如下的样子：

    从函数图上可以看出，函数y=g(z)在z=0的时候取值为1/2，而随着z逐渐变小，函数值趋于0，z逐渐变大的同时函数值逐渐趋于1，而这正是一个概率的范围。

    所以我们定义线性回归的预测函数为Y=W^TX，那么逻辑回归的输出Y= g(W^TX)，其中y=g(z)函数正是上述sigmoid函数(或者简单叫做S形函数)。

 

判定边界

    我们现在再来看看，为什么逻辑回归能够解决分类问题。这里引入一个概念，叫做判定边界，可以理解为是用以对不同类别的数据分割的边界，边界的两旁应该是不同类别的数据。

    从二维直角坐标系中，举几个例子，大概是如下这个样子：

 

    有时候是这个样子：

    上述图中的红绿样本点为不同类别的样本，而我们划出的线，不管是直线、圆或者是曲线，都能比较好地将图中的两类样本分割开来。这就是我们的判定边界，下面我们来看看，逻辑回归是如何根据样本点获得这些判定边界的。

    我们依旧借用Andrew Ng教授的课程中部分例子来讲述这个问题。

    回到sigmoid函数，我们发现：  

        当g(z)≥0.5时, z≥0;

        对于hθ(x)=g(θ^TX)≥0.5, 则θ^TX≥0, 此时意味着预估y=1;

        反之，当预测y = 0时，θ^TX<0;

    所以我们认为θ^TX =0是一个决策边界，当它大于0或小于0时，逻辑回归模型分别预测不同的分类结果。

    先看第一个例子hθ(x)=g(θ₀+θ₁X₁+θ₂X₂)，其中θ_{0 ,}θ_{1 ,}θ₂分别取-3, 1, 1。则当−3+X₁+X₂≥0时, y = 1; 则X₁+X₂=3是一个决策边界，图形表示如下，刚好把图上的两类点区分开来：

    例1只是一个线性的决策边界，当hθ(x)更复杂的时候，我们可以得到非线性的决策边界，例如：

    这时当x₁²+x₂²≥1时，我们判定y=1，这时的决策边界是一个圆形，如下图所示：

    所以我们发现，理论上说，只要我们的hθ(x)设计足够合理，准确的说是g(θTx)中θTx足够复杂，我们能在不同的情形下，拟合出不同的判定边界，从而把不同的样本点分隔开来。

 

代价函数与梯度下降

    我们通过对判定边界的说明，知道会有合适的参数θ使得θTx=0成为很好的分类判定边界，那么问题就来了，我们如何判定我们的参数θ是否合适，有多合适呢？更进一步，我们有没有办法去求得这样的合适参数θ呢？

    这就是我们要提到的代价函数与梯度下降了。

    所谓的代价函数Cost Function，其实是一种衡量我们在这组参数下预估的结果和实际结果差距的函数，比如说线性回归的代价函数定义为:

\(J(\theta) = \frac{1}{2m} \sum^m_{i=1}(h_\theta (x^i)-y^i)^2\)

当然我们可以和线性回归类比得到一个代价函数，实际就是上述公式中hθ(x)取为逻辑回归中的g(θTx)，但是这会引发代价函数为“非凸”函数的问题，简单一点说就是这个函数有很多个局部最低点，如下图所示：

而我们希望我们的代价函数是一个如下图所示，碗状结构的凸函数，这样我们算法求解到局部最低点，就一定是全局最小值点。

      因此，上述的Cost Function对于逻辑回归是不可行的，我们需要其他形式的Cost Function来保证逻辑回归的成本函数是凸函数。

      我们跳过大量的数学推导，直接出结论了，我们找到了一个适合逻辑回归的代价函数:

      Andrew Ng老师解释了一下这个代价函数的合理性，我们首先看当y=1的情况：

       如果我们的类别y = 1, 而判定的hθ(x)=1，则Cost = 0，此时预测的值和真实的值完全相等，代价本该为0；而如果判断hθ(x)→0，代价->∞，这很好地惩罚了最后的结果。

       而对于y=0的情况，如下图所示，也同样合理：

       下面我们说说梯度下降，梯度下降算法是调整参数θ使得代价函数J(θ)取得最小值的最基本方法之一。从直观上理解，就是我们在碗状结构的凸函数上取一个初始值，然后挪动这个值一步步靠近最低点的过程，如下图所示：

      我们先简化一下逻辑回归的代价函数：

       从数学上理解，我们为了找到最小值点，就应该朝着下降速度最快的方向(导函数/偏导方向)迈进，每次迈进一小步，再看看此时的下降最快方向是哪，再朝着这个方向迈进，直至最低点。

       用迭代公式表示出来的最小化J(θ)的梯度下降算法如下：

 

 逻辑回归一般解决分类问题，离散点，回归+阈值（sigmoid）,损失函数--》判定边界。多分类可以设计多个分类器。

梯度：

基本函数：

带正则化项的损失函数
\(J(\theta) = \frac{1}{m}\sum_{i=1}^{m}\big[-y^{(i)}\, log\,( h_\theta\,(x^{(i)}))-(1-y^{(i)})\,log\,(1-h_\theta(x^{(i)}))\big] + \frac{\lambda}{2m}\sum_{j=1}^{n}\theta_{j}^{2}\)
向量化的损失函数

\(J(\theta) = \frac{1}{m}\big((\,log\,(g(X\theta))^T y+(\,log\,(1-g(X\theta))^T(1-y)\big) + \frac{\lambda}{2m}\sum_{j=1}^{n}\theta_{j}^{2} \)

偏导(梯度)

\(\frac{\delta J(\theta)}{\delta\theta_{j}} = \frac{1}{m}\sum_{i=1}^{m} ( h_\theta (x^{(i)})-y^{(i)})x^{(i)}_{j} + \frac{\lambda}{m}\theta_{j}\)


向量化
\( \frac{\delta J(\theta)}{\delta\theta_{j}} = \frac{1}{m} X^T(g(X\theta)-y) + \frac{\lambda}{m}\theta_{j}\)

 

##定义sigmoid函数
def sigmoid(z):
    return(1 / (1 + np.exp(-z)))

# 定义损失函数

def costFunctionReg(theta, reg, *args):
    m = y.size
    h = sigmoid(XX.dot(theta))

    J = -1 * (1 / m) * (np.log(h).T.dot(y) + np.log(1 - h).T.dot(1 - y)) + (reg / (2 * m)) * np.sum(
        np.square(theta[1:]))

    if np.isnan(J[0]):
        return (np.inf)
    return (J[0])


def gradientReg(theta, reg, *args):
    m = y.size
    h = sigmoid(XX.dot(theta.reshape(-1, 1)))

    grad = (1 / m) * XX.T.dot(h - y) + (reg / m) * np.r_[[[0]], theta[1:].reshape(-1, 1)]

    return (grad.flatten())

 部分内容摘自：机器学习系列(1)_逻辑回归初步