【笔记】浅谈逻辑回归以及逻辑回归的损失函数

逻辑回归算法

逻辑回归算法的概念不咋叙述

逻辑回归算法看上去是解决回归问题的算法，但是其实是解决的分类问题，那么回归算法是如何解决分类问题呢？逻辑回归的原理是将样本的特征和样本发生的概率联系起来，即预测这个样本的发生概率是多少，而这个概率是一个数，因此可称这个为回归问题

对于机器算法来说，其本质就是求解一个函数，将样本代入，经过函数计算以后可以得到一个预测的值，在线性回归和多项式回归中，预测的值和问题具有很强的关联性，但是在逻辑回归中，预测的值其本质就是概率值，也就是说，将样本代入函数计算以后，可以得到一个概率值，之后根据这个概率值进行分类，如果有一半的概率发生的话，就等于1，反之等于0（1和0的意义看问题）

从上面的叙述中可以发现，逻辑回归算法既可以看做是一个回归算法，又可以看作是一个分类算法，如果没有最后的分类的话，其就是一个回归算法，算出来的是根据样本特征来拟合一个事件发生的概率，不过通常拿来用于作为分类算法，注意的是，其只能解决二分类的问题，对于多分类问题，其本身是不支持的

逻辑回归的计算方式

一个样本包含若干特征，经过函数的计算，就得到了对应的y值，对于线性回归来说，其就是

这样得到的y值，其值域是正无穷到负无穷的，即通过线性回归的方式可以得到任意的值，对于概率来讲，只能在0和1之间取值，因此直接使用线性回顾的方式得到的结果没有值域的限制，这就让最后拟合出来的函数可信程度不高

解决方案很简单，使用线性回归的方式得到的结果，将这结果作为特征值送到新的函数中

经过转换以后就可以得到一个在0到1之间的值，这就得到了xb中发生某一个特定事件的概率是多少了

新的函数一般使用sigmoid函数，其表达式为

具体实现的操作

（在notebook中）

加载好包以后，定义sigmoid函数，设置绘制的x和y的范围，然后绘制

  import numpy as np
  import matplotlib.pyplot as plt

  def sigmoid(t):
      return 1 / (1 + np.exp(-t))

  x = np.linspace(-10,10,500)
  y = sigmoid(x)

  plt.plot(x,y)

图像为