机器学习－分类／逻辑回归

逻辑回归：

一，假设函数：

假设函数给出了预测结果为1的概 

decision boundary（决策边界）：能够区分正类／分类的分界线

对于逻辑回归，h(x)=0.5, theta'x=0即为分界线。

二，损失函数：

 则大损失函数为

向量版本为：

 

梯度下降求解为：

 

 代入公式为：

 

向量化为：

 

导数求解过程：注意h’ = h*(1-h*)x

参考：https://blog.csdn.net/javaisnotgood/article/details/78873819

另外，最大似然版本的梯度下降求解

https://blog.csdn.net/jediael_lu/article/details/77852060

 

补充：损失函数

为什么不用(h-y)^2?因为不是回归，是分类。用新的方法，更容易惩罚错误。

lnx:红色的线

 

过拟合／欠拟合

欠拟合，即高偏差，和y值相差很大

解决方法：

1.寻找更好的特征（具有代表性的）

2.用更多的特征（增大输入向量的维度）

过拟合，即高方差，训练误差小，训练误差与测试误差差距大。

解决方法：

1. 增加数据量

2. 减少特征个数

 

增加惩罚因子，是减少特征个数的方法。

线性回归，加惩罚因子后的

theta1一般为常数项，不加入惩罚系列。

逻辑回归的惩罚函数，其中lambda后的加和从1到n,不包含theta0.

梯度下降方法演变为：