6 逻辑回归
1.用自己的话描述一下,什么是逻辑回归,与线性回归对比,有什么不同?
逻辑回归虽然名字中有“回归”,但实际却是一种分类学习方法,它将数据拟合到一个logit函数或者是 logistic函数中,从而能够完成对事件发生的概率进行预测。
虽然逻辑回归能够用于分类,不过其本质还是线性回归。它仅在线性回归的基础上,在特征到结果的映射中加入了一层sigmoid函数(非线性)映射,即先把特征线性求和,然后使用sigmoid函数来预测。
类型 | 逻辑回归 | 线性回归 |
用途 | 解决二分类问题 | 对未知的数据进行预估 |
参数估计方法 | 极大似然法 | 用最小二乘法 |
优点 |
适合需要得到一个分类概率 的场景,简单,速度快。 |
思想简单,实现容易。建模迅速, 对于小数据量、简单的关系很有效。 |
缺点 | 不好处理多分类问题 |
对于非线性数据或者数据特征间 具有相关性多项式回归难以建模。 |
2.自述一下什么是过拟合和欠拟合?
过拟合:一个假设在训练数据上能够获得比其他假设更好的拟合,但是在训练数据外的数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合现象。
欠拟合:一个假设在训练数据上不能获得更好的拟合,但是在训练数据外的数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象。
类型 | 过拟合 | 欠拟合 |
定义 | 模型过于复杂 | 模型过于简单 |
表示图 | ||
原因 |
原始特征过多,存在一些嘈杂特, 模型过于复杂是因为模型尝试去 兼顾各个测试点数据。 |
学习到的数据特征过少 |
解决方法 | 1进行特征选择,消除关联性大的特征 2交叉验证(让所有数据都有过训练) 3正则化 |
增加数据的特征数量 |
3.思考一下逻辑回归的应用场景有哪些?
可以用于探讨引发疾病的危险因素,并根据危险因素预测疾病发生的概率。
分析商品评论的好坏即分析文本情感是褒义还是贬义。
对图像进行识别分类等。