快来感受下回归的魅力 python实现logistic回归

logistic回归实现

前言
思想
实现

前言

先来介绍下这个logistic回归

首先这玩意是干啥的

我个人的理解，logistic回归就是通过不断进行梯度下降，改变w和b，从而使得函数值与实际值平均差值越来越小

logistic回归使用的激活函数是

sigmoid函数，函数的图像和函数如下图所示
在这里插入图片描述
看这个函数图像就可以得出sigmoid的函数值永远在0,1之间，且当x趋于正无穷时，y趋向于1，x趋于负无穷时，y趋向于0

函数公式为
在这里插入图片描述

同时该回归使用的损失函数也与其他不同，如下图

图片来自b站视频

思想

在这里插入图片描述

logsitic的计算过程如上图所示

正向传播有以下几步

第一步将输入的x值与w相乘，再加上b，完成线性函数的计算
第二步将z值代入激活函数中，也就是sigmoid函数中，计算出a值，a值就是我们预测的值
第三步将a值与实际值进行比较，计算出差值，也就是损失函数的值，损失函数就是上述提到的那个公式

通过以上三步，我们发现我们很快计算出预测值了，虽然不准，但确实块。

在这里插入图片描述

那么俺们怎么让这个预测值又快又准呢

这就要提到反向传播了

顾名思义，反向传播就是和正向传播的方向反着来

如下图红色箭头这种
在这里插入图片描述

就是在计算出损失函数之后，计算出损失函数对w，b的偏导，然后就可以开始梯度下降了

来看下百度百科的解释

顾名思义，梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

这就很清楚了

也就是我们目的就是损失函数对w，b求导，然后通过多次的梯度下降，从而达到使得损失函数最小的目的

对w，对b的求导公式就是直接链式求导就好

这里给出损失函数L对激活函数a的求导公式

这里a是预测值，y是实际值
在这里插入图片描述

激活函数对z求导公式
在这里插入图片描述

Z对W的求导就不说了

然后就可以进行梯度下降了

梯度下降的公式如下

在这里插入图片描述
这里a就是学习率，也可以认为是梯度下降的步伐，a的值不应太小，也不应太大，太小会导致梯度下降处理时间太长，太大会导致出现错过极小值的情况

w就是参数值，dl/dw就是损失函数对w的偏导数

这样我们大概了解了之后，就可以开始写代码了

实现

这次是直接将回归用于如下图这种只有一个隐藏层的神经网络中
在这里插入图片描述

总共有三个x值，每一个x值对应一个w值

我们的目标就是通过修改w值和b值是得损失函数可以尽量小

那就开始写代码了

# -*- codeing = utf-8 -*-
# @Time : 2022/9/25 22:24
# @Author : xiaow
# @File : logistic_regression.py
# @Software : PyCharm

import numpy as np


# sigmod激活函数
def sigmoid(x):
    return 1.0 / (1 + np.exp(-x))


# y是实际值  yhat是预测值
def singleLost(yhat, y):
    a = y * np.log(yhat) + (1 - y) * np.log(1 - yhat)
    return -a


# 这里的y是实际值，a是激活函数的值，也就是预测值
def lostDao(a, y):
    return -(y / a) + (1 - y) / (1 - a)


# sigmod导数
def sigmodDao(z):
    return sigmoid(z) * (1 - sigmoid(z))


def wdao(x):
    return x;


def tidudown():
    alpha = 0.1
    # y值
    y = [1, 0, 1, 1, 1, 1, 1, 1]
    y = np.array(y).reshape(8, 1)
    w = np.array([1, 1, 1])
    w = w.reshape(3, 1)
    b = 1
    # x值
    x = np.array([[1, 1, 1],
                  [1, 0, 1],
                  [1, 2, 1],
                  [1, 3, 3],
                  [1, 3, 5],
                  [1, 3, 6],
                  [1, 3, 0],
                  [1, 3, 9]])
    prelost = 10000
    for i in range(0, 100000):
        z = np.dot(x, w) + b
        a = sigmoid(z)
        mlost = singleLost(a, y)
        # 每一万次输出一个预测值
        if i % 10000 == 9999:
            print('now lost==============' + str(mlost))
            print('last yhat===============' + str(a))
        mlost = np.sum(mlost, axis=0) / mlost.shape[0]
        r = mlost - prelost
        if r > 0:
            break
        dl = lostDao(a, y)

        ds = sigmodDao(z)

        dw = wdao(x)
        dall = dl * ds * dw
        dall = np.sum(dall, axis=0) / dall.shape[0]
        dall = dall.reshape(3, 1)
        # 进行梯度下降
        w = w - alpha * dall


if __name__ == '__main__':
    tidudown()