逻辑回归

一.简介

逻辑回归是一种常见的分类模型。输入为X，X取值为实数，输出为Y，Y取值为1和0，输出Y=1的对数几率是输入x的线性函数。线性函数的值越接近正无穷，概率值越接近1，线性函数值越接近于负无穷，概率值越接近0。

二.模型

$$ P(Y=1|x) = \frac {exp({w}\cdot{x})} {1+exp({w}\cdot{x})} $$

$$ P(Y=0|x) = \frac {1} {1+exp({w}\cdot{x})} $$

三.训练

1.梯度下降

2.更高效的

实际应用在迭代求解时往往会使用高效的优化算法，如LBFGS、信赖域算法等

四.优缺点以及应用

优点：模型简单，训练开销小，可并行，适合处理大规模数据；可解释，可以轻易地根据权重的不同解释哪些特征比较重要。

缺点：表达能力不强，无法进行特征交叉、特征筛选等一系列较为“高级”的操作，不可避免地造成信息的损失。