logistic regression

logistic regression

基本概念

目标

1. Input: dataset
   
   
2. 模型的参数是
   
   
3. 训练
   
   
   
   特别的，针对二分类问题，，则是伯努利分布，即
   
   
   
   其中，是事件发生的概率
   则代入到loss function，有
   
   
   
   
   
   
   基于梯度下降进行优化，有
   
   
   
   
   
   
   
   

对sigmoid函数求导易得

所以

直观上
（1）当时，不够大，需要施加正向的影响
（2）反之亦然

正则化