逻辑回归分类器(Logistic Regression Classifier)

Logistic regression （逻辑回归）是当前业界比較经常使用的机器学习方法，用于预计某种事物的可能性。也用来进行分类。

在分类的情形下，经过学习之后的LR分类器事实上就是一组权值w0,w1,...,wm. 
当输入測试样本集中的測试数据时。这一组权值依照与測试数据线性加和的方式，求出一个z值：

z = w0+w1*x1+w2*x2+...+wm*xm。 ① （当中x1,x2,...,xm是某样本数据的各个特征，维度为m）
之后依照sigmoid函数的形式求出：

σ(z) = 1 / (1+exp(z)) 。

②

因为sigmoid函数的定义域是(-INF, +INF),而值域为(0, 1)。

因此最主要的LR分类器适合于对两类目标进行分类。该sigmoid函数看成样本数据的概率密度函数，每个样本点，都能够通过上述的公式①和②计算出其概率密度。

则LR分类器的关键问题就是求出这一组权值w0,w1,...,wm。这须要涉及到极大似然预计MLE和优化算法的概念。

一、逻辑回归模型

何为回归：回归事实上就是对已知公式的未知參数进行预计。比方已知公式是y = a*x + b，未知參数是a和b。

我们如今有非常多真实的(x,y)数据（训练样本），回归就是利用这些数据对a和b的取值去自己主动预计。 

事实上Logistic Regression 就是一个被logistic方程归一化后的线性回归，仅此而已。

至于用logistic方程而不用其他，是由于这样的归一化的方法往往比較合理，可以打压过大和过小的结果（往往是噪音），以保证主流的结果不至于被忽视。

1.1逻辑回归模型

1.2极大似然函数

1.3　牛顿－拉斐森迭代法

注：逻辑回归分类器的Spark代码实现參照博客：Spark简单介绍第六章代码部分：http://blog.csdn.net/qustqustjay/article/details/46874071