机器学习2

合集 - 机器学习(3)

1.机器学习12024-08-22

2.机器学习22024-08-29

3.机器学习32024-09-13

收起

逻辑回归

Logistic回归是一种广义的线性回归分析模型。它是一种分类方法，可以适用于二分类问题，也可以适用于多分类问题，但是二分类的更为常用，也更加容易解释。实际中最为常用的就是二分类的logistic回归，常用于数据挖掘，疾病自动诊断，经济预测等领域。

基本思想

a. 寻找合适的假设函数，即分类函数，用以预测输入数据的判断结果；
b. 构造代价函数，即损失函数，用以表示预测的输出结果与训练数据的实际类别之间的偏差；
c. 最小化代价函数，从而获取最优的模型参数。

注意：Logistic回归算法是一种分类算法，它适用于标签取值离散的情况，它的输出值永远在0到1之间。
不推荐将线性回归用于分类问题，线性回归模型的预测值可超越[0,1]范围。

逻辑回归模型的假设

 其中X代表特征向量, g 代表Logistic函数。

h_θ​(x)的作用是: 对于给定的输入变量，根据选择的参数计算输出变量=1的可能性.  即h_θ​(x) = P(y=1|x;θ) 所以有P(y=0|x;θ) +P(y=1|x;θ) = 1。

常用的Logistic函数为S形函数 (Sigmoid function)：

 决策边界

分类： 线性决策边界  非线性决策边界

下图为线性决策边界的例子，红色代表正类, 蓝色代表负类。

其中参数 θ 为向量[-3,1,1] ,则当 -3 + x₁ +x₂ ≥ 0，即 x₁ +x₂ ≥ 3时，模型将预测y =1.我们可以绘制直线 x₁ +x₂ = 3，这条线便是我们模型的决策边界，它能将预测为1的区域和预测为0的区域分隔开。

 下图为非线性决策边界的例子，用曲线才能分隔 y = 0 的区域和 y = 1 的区域，我们需要二次方特征：

 参数θ为向量[-1 0 0 1 1]，当 -1 + x₁²+x₂² ≥ 0,即x₁²+x₂² ≥ 1时，模型将预测 y = 1. 我们可以绘制圆心在原点且半径为1的圆形 1²+x₂² = 1 .

 代价函数

 我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值

定义Logistic回归的代价函数为：

 结论：

 梯度下降

算法的原理与线性回归类似，只不过由于预测函数和代价函数都不一样：

注意：线性回归和逻辑回归的函数不同：

 过拟合

 可以发现上图高次的模型实际上已经出现了过拟合的现象

术语：欠拟合underfit<=>高偏差high bias、过拟合overfit<=>高方差high variance

解决方法：

解决过拟合的方法有三种，分别是增加数据集的样本数量、选取和预测结果最相关的特征作为子集训练而不是训练整个数据集、正则化。

• 增加样本数量：局限性比较大，毕竟实际情况中样本的数量不可能想有多少就有多少
• 特征选择：这么做是为了选择与结果最为相关的特征进行训练，但是可能每一个特征都与预测结果直接相关，选择一个子集就会丢掉一些有用的特征
• 正则化：如果说特征选择是直接消灭掉不太相关的特征，那么正则化做的就不那么绝对，它会削弱这些不太相关特征的影响，算是一种弱化版的“特征选择”