逻辑回归推导

首先线性模型：

 

而logistic回归则通过函数L将w‘x+b对应一个隐状态p，p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数

而每一个观察到的样本(xi, yi)出现的概率是：

 

 

由于y的取值是（0,1），当y=1的时候，后面那一项是不是没有了，那就只剩下x属于1类的概率，当y=0的时候，第一项是不是没有了，

那就只剩下后面那个x属于0的概率（1减去x属于1的概率）。所以不管y是0还是1，上面得到的数，都是(x, y)出现的概率，所以：

 

 

 又因为，p =L(w‘x+b),即是logistic之后，而逻辑函数（即是sigmoid函数）又等于：

 

所以：（其实这里已经推导出来的逻辑回归表达式）

 

 

后面的是损失函数了

整合为似然函数为：

 

 

 

 对数似然函数为（log减就是除）：前面少了log,最后面少了大括号]

 

令：

 

得到：

 

 而又有：

 

  代入对数似然函数  (L(w)少了log())  ：

 

 

 也可以这样表达：

 

 这时候为求最大值，对L(θ)对θ求导，得到：

 

 求导太复杂了，就不求导了

 

逻辑回归的最终模型为：

 

 

 转换一下：

============================================================

这步我主要看求导部分，也就是求参数的最小值