logistic回归模型
二项logistic回归模型符合如下概率分布：
其中wx表示w和x的内积
上式同样也可以表示为：
其中p=P(Y=1|x)
二分类数据集(x1,y1),(x2,y2),....(xn,yn)
将设p=P(Y=1|x)=π(x)，则1-p=P(Y=0|x)=1-π(x)
那么观测值的概率发生概率同样能表示为：
因此似然函数可以表示为
对上式取对数后可以得到：
通过对L(w)求极大似然估计，得到w的估计值，通常在logistic回归中采用的是梯度下降法及拟牛顿法。
相同的，多项logistic回归用于多分类，离散型随机变量Y取值集合为{1,2,...,K}，表达式如下：
