6.逻辑回归

1.什么是逻辑回归，与线性回归对比，有什么不同？

逻辑回归：逻辑回归又称logistic回归分析，它将数据拟合到一个logit函数或者是logistic函数中，从而能够完成对事件发生的概率进行预测，它使用一个Sigmoid函数来归一化y值，使y的取值在区间(0,1)内，是解决二分类问题的利器。

公式：

 

 代码实现sigmoid函数

 

 逻辑回归与线性回归的区别与联系：

区别：

逻辑回归是广义的线性回归，逻辑回归虽然都带有回归二字，但逻辑回归是一种分类的学习算法，输入的东西虽然和线性回归一样，但是出来的结果却是一个二分类的问题，线性回归却是预测连续型变量的，，可以用来聚类，可是不能解决分类问题。

（1）线性回归的响应变量服从正态分布，逻辑回归的服从伯努利分布

（2）线性回归的损失函数是均方差，逻辑回归的是似然函数（交叉熵）

（3）线性回归要求自变量和因变量服从线性关系，逻辑回归没要求

（4）线性回归分析的是因变量自身与自变量之间的关系，逻辑回归研究的是因变量取值的概率和自变量的概率

（5）线性回归是回归问题，逻辑回归是一个分类问题

联系：

（1）两个都是线性模型，线性回归是普通线性模型，回归模型是广义的线性模型

（2）表达形式上，逻辑回归是线性回归套上了一个sigmoid函数

2.什么是过拟合和欠拟合？　

 

过拟合：是指训练模型时过于严格，学习能力太强，导致训练出的模型过于复杂，学习到了很多无关紧要的特征，最后训练数据上得到较好拟合但测试数据上就不能很好的拟合，出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。

欠拟合:是指训练模型时过于简单，学习能力太弱，没有很好地捕捉到足够多的数据特征，模型泛化能力太差，导致在训练数据上不能获得更好的拟合，在测试数据上也不能很好的拟合。

3.逻辑回归的应用场景有哪些？

逻辑回归算法主要可用户金融领域，可用性强，可以通过综合贷款主的各项数据，预测该人是否具有偿还能力，从而决定是否放款。

也可运用于农业，通过农作物的各项数据，预测长期写去农作物是否会生病。