逻辑回归算法
从本质上讲:机器学习就是一个模型对外界的刺激(训练样本)做出反应,趋利避害(评价标准)
本文从一个二分类问题开始,介绍逻辑回归的基本思想,接着从数学上解释逻辑回归的原理,最后实现一个简单的逻辑回归算法的实例。
一、问题引入
假如我们有N个样本,每个样本点有两个特征X1和X2,在直角坐标系中画出这N个样本点散点图:
红色和蓝色代表两类样本,现在目标是根据样本的特征和标签,拟合出一条直线将样本分成两类,红色的样本在直线的上方,蓝色的样本在直线的下方。那我们如何寻找出这一条直线呢?我们知道在一个二维的空间里,直线可以简单的用公式表示:
参数θ和b决定了直线的位置,如果我们选取一组参数θ和b是这个样子的
那肯定是不合理的,因为样本还没有完全被分开,而如果我们得到一条直线:
两类样本虽然有一些小错误,但是基本上被分开了,所以这条直线的参数是我们想要的,由此,我们可以发现逻辑回归问题变成了求参数θ的问题。
二、从数学上解释逻辑回归的原理
总的来说,Logistic回归的过程就是根据样本求解分类直线的参数的过程,求解的方法是极大似然估计法,但是因为似然方程最后求导无法得到解析解,所以用了梯度下降法去逐步优化得到极值。