机器学习基础-Logistic回归1
利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。
训练分类器时的做法就是寻找最佳拟合参数，使用的时最优化算法。
优点：计算代价不高，利于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
适用数据类型：数值型和标称型数据。
最优化算法：1基本的梯度上升法 2改进的梯度上升法
海维塞德阶跃函数=单位阶跃函数（该函数在跳跃点上从0瞬间跳跃到1），这个顺时跳跃过程很难处理。幸好，另一个函数也有类似的性质，而且数学上更容易处理，这就是Sigmoid函数。具体的计算公式如下：
σ(z) =1/(1+e-z)
当z为0时，Sigmoid函数值为0.5。随着x的增大，对应的Sigmoid函数值将逼近于1；而随着x的减小，Sigmoid值将逼近于0。如果横坐标刻度足够大，Sigmoid函数看起来很像一个阶跃函数。因此为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0~1之间的数值。
确定了分类器的函数形式之后，现在的问题变成了：最佳回归系数是多少？如何确定他们的大小？
基于最优化方法的最佳回归系数确定
sigmoid函数的输入记为z，由下面公式得出：z=w0x0+w1x1+w2x2+...+wnxn,如果采用向量的写法，上述公式可以写成Z=wTx。其中向量x是分类器的输入数据，向量w也就是我们要找到的最佳参数。
下面将要介绍寻找最优参数的梯度上升法和随机梯度上升法
1梯度上升法-要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。
用向量来表示的话，梯度算法的迭代公式如下：
w:=w+αΔwf(w) Δwf(w)：移动方向；α：步长。
该公式将一直被执行，直到达到某个条件为止，比如迭代次数达到某个指定值或者算法达到某个允许的误差范围。
梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。
#Logistic回归梯度上升优化算法（代码）如下：
#!/usr/bin/env python
from numpy import *
def loadDataSet():
dataMat=[];labelMat=[]
fr = open('testSet.txt')
for line in fr.readlines():
lineArr=line.strip().split()
dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])]) #x0,x1,x2组成的三维数据集
labelMat.append(int(lineArr[2])) #类别标签
return dataMat,labelMat
def sigmoid(inX):
return 1.0/(1+exp(-inX))
def gradAscent(dataMatIn,classLabels):
dataMatrix=mat(dataMatIn)
labelMat=mat(classLabels).transpose() #转换为NumPy矩阵数据类型
m,n=shape(dataMatrix)
alpha=0.001
maxCycles=500 #循环500次
weights=ones((n,1))
for k in range(maxCycles):
h=sigmoid(dataMatrix*weights)
error=(labelMat-h)
weights=weights+alpha*dataMatrix.transpose()*error #更新参数
return weights
dataArr,labelMat=loadDataSet()
print gradAscent(dataArr,labelMat)
#画出分隔线，从而使得优化的过程便于理解，在上述代码后添加如下代码：
def plotBestFit(wei):
import matplotlib.pyplot as plt
weights=wei.getA()
dataMat,labelMat=loadDataSet()
dataArr=array(dataMat)
n=shape(dataArr)[0]
xcord1=[];ycord1=[]
xcord2=[];ycord2=[]
for i in range(n):
if int(labelMat[i])==1:
xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
else:
xcord2.append(dataArr[i,1]);ycord2.append(dataArr[i,2])
fig = plt.figure()
ax=fig.add_subplot(111)
ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
ax.scatter(xcord2,ycord2,s=30,c='green')
x=arange(-3.0,3.0,0.1)
y=(-weights[0]-weights[1]*x)/weights[2]
ax.plot(x,y)
plt.xlabel('x1');plt.ylabel('x2')
plt.show()
dataArr,labelMat=loadDataSet()
weights=gradAscent(dataArr,labelMat)
plotBestFit(weights.getA())
简单的测验数据（testSet.txt）：
-1 -2 0
-2 -3 0
-3 -4 0
-4 -5 0
-5 -6 0
6 7 1
-3 -2 0
7 5 1
6 3 1
5 4 1
7 3 1
