ISLR系列：(2)分类 Logistic Regression & LDA & QDA & KNN
Classification
此博文是 An Introduction to Statistical Learning with Applications in R 的系列读书笔记，作为本人的一份学习总结，也希望和朋友们进行交流学习。
该书是The Elements of Statistical Learning 的R语言简明版，包含了对算法的简明介绍以及其R实现，最让我感兴趣的是算法的R语言实现。
【转载时请注明来源】：http://www.cnblogs.com/runner-ljt/
Ljt 勿忘初心 无畏未来
作为一个初学者，水平有限，欢迎交流指正。
前一篇博文讲的线性回归模型主要针对因变量是定量的情形，而对于因变量是定性的情况则需要采用分类算法。
本篇将讲述三类常用的分类算法：逻辑回归 Logistic Regression（LR）
线性/二次判别分析 Linear Discriminant Analysis（LDA） / Quadratic Discriminant Analysis（QDA）
K最近邻法 K-nearest neighbors（KNN）
首先，本文将从整体上来比较这三类分类算法：
（1） 当真实的分类边界是线性时，LR和LDA通常会表现更好；当真实的分类边界是一般的非线性时，QDA通常会表现更好；当真实的分类边界
更为复杂时， KNN 通常会表现的更好。
（2） LR和LDA 都将产生线性分类边界，两种唯一的不同是LR的系数估计是通过极大似然法，而LDA的系数是运用正态分布的均值和方差的估计
值计算得到的；LR适用于二分类问题，对于多分类问题，LDA则更为常见。
（3） 当样本能够被完全线性分类时，LR的参数估计将会出现不稳定情况，此时LR方法不适用（详细见另一篇博文 广义线性模型 R--glm函数），
LDA参数估计则不会出现这种情况；当样本量较小且自变量的分布近似于状态分布时，LDA会比LR表现的更好。
（4） LDA和QDA都是建立在自变量服从正态分布的假设上，所以当自变量的分布确实是几乎服从正态分布时，这两种方法会表现的较好；
LDA和QDA 的区别在于LDA假设所有类别的自变量都服从方差相同的正态分布，而QDA假设对于因变量属于不同类别的自变量服从方差不
同的正态分布，选择LDA和QDA的关键在于偏置--方差的权衡。
（5） QDA可以认为是非参数学习法KNN和具有线性分类边界的LR及LDA方法的折中，QDA假设分类边界是二次的，所以它能够比线性模型更准
确的为更多的问题建立模型；同时由于其二次边界的额外假设，当样本量较小时，其能够优于KNN方法。
（6） KNN是非参数学习方法，因此它不对分类边界做任何假设，当分类边界为高度非线性是便会优于RL和LDA，但是其不能反映每个自变量对因
变量的影响。
（7） LR可以适用于含有定性自变量的模型，对于定性的自变量LR会将其转换为虚拟变量，但是LDA、QDA及KNN都不适用于定性的自变量。
Logistic Regression
(1)广义线性回归：glm(formula, family = gaussian, data, subset)
family： binomial(link = "logit") 因变量服从伯努利分布，连接函数为logit；
gaussian(link = "identity") 因变量服从高斯分布，连接函数为identity；
poisson(link = "log") 因变量服从泊松分布，连接函数为log.
subset :可选向量，用于指定data中用于测试的数据集 .
(2)预测函数：predict(object, newdata = NULL, type = c("link", "response", "terms"))
newdata：预测样本数据，当为NULL时预测样本为测试样本，data.frame格式；
type : link --- 连接函数 ΘX 的值 【 p(y=1)=1/(1+e-ΘX ） 】 ;
response ---预测结果是样本类别为1的概率 ;
terms --- The 'terms' option returns a matrix giving the fitted values of each term in the model formula
on the linear predictor scale.
(3)虚拟变量设置：contrasts（x）
在预测结果中的概率为样本结果是1类的概率（即虚拟变量为1所代表的类别）
> library(ISLR)
> head(Smarket)
Year Lag1 Lag2 Lag3 Lag4 Lag5 Volume Today Direction
1 2001 0.381 -0.192 -2.624 -1.055 5.010 1.1913 0.959 Up
2 2001 0.959 0.381 -0.192 -2.624 -1.055 1.2965 1.032 Up
3 2001 1.032 0.959 0.381 -0.192 -2.624 1.4112 -0.623 Down
4 2001 -0.623 1.032 0.959 0.381 -0.192 1.2760 0.614 Up
5 2001 0.614 -0.623 1.032 0.959 0.381 1.2057 0.213 Up
6 2001 0.213 0.614 -0.623 1.032 0.959 1.3491 1.392 Up
>
>glm.fit<-glm(Direction~Lag1+Lag2+Lag3+Lag4+Lag5+Volume,data=Smarket,family=binomial)
> summary(glm.fit)
Call:
glm(formula = Direction ~ Lag1 + Lag2 + Lag3 + Lag4 + Lag5 +
Volume, family = binomial, data = Smarket)
Deviance Residuals:
Min 1Q Median 3Q Max
-1.446 -1.203 1.065 1.145 1.326
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) -0.126000 0.240736 -0.523 0.601
Lag1 -0.073074 0.050167 -1.457 0.145
Lag2 -0.042301 0.050086 -0.845 0.398
Lag3 0.011085 0.049939 0.222 0.824
Lag4 0.009359 0.049974 0.187 0.851
Lag5 0.010313 0.049511 0.208 0.835
Volume 0.135441 0.158360 0.855 0.392
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 1731.2 on 1249 degrees of freedom
Residual deviance: 1727.6 on 1243 degrees of freedom
AIC: 1741.6
Number of Fisher Scoring iterations: 3
>
> #预测
> glm.probs<-predict(glm.fit,type='response')
> glm.probs[1:10]
1 2 3 4 5 6 7 8 9 10
0.5070841 0.4814679 0.4811388 0.5152224 0.5107812 0.5069565 0.4926509 0.5092292 0.5176135 0.4888378
> contrasts(Smarket$Direction)
Up
Down 0
Up 1
> #衡量模型效果
> glm.pred<-rep('Down',1250)
> glm.pred[glm.probs>0.5]<-'Up'
> table(glm.pred,Direction)
Error in table(glm.pred, Direction) : object 'Direction' not found
> table(glm.pred,Smarket$Direction)
glm.pred Down Up
Down 145 141
Up 457 507
>
Linear Discriminant Analysis
(1) 线性判别分析 lda(formula, data, ..., subset)
返回结果： 先验概率 Prior probabilities of groups
各类别种每个自变量的均值 Group means
判别边界系数 Coefficients of linear discriminants
y= - 0.7567605*Lag1 - 0.4707872*Lag2
(2) 预测：predict（lda.fit）
返回结果：预测类别class
类的后验概率 posterior (每一样本属于各类别的后验概率，通常以0.5为界进行分类，但可以指定后验概率为α来分类)
> library(MASS)
> lda.fit<-lda(Direction~Lag1+Lag2,data=Smarket)
> lda.fit
Call:
lda(Direction ~ Lag1 + Lag2, data = Smarket)
Prior probabilities of groups:
Down Up
0.4816 0.5184
Group means:
Lag1 Lag2
Down 0.05068605 0.03229734
Up -0.03969136 -0.02244444
Coefficients of linear discriminants:
LD1
Lag1 -0.7567605
Lag2 -0.4707872
> #预测
> lda.pred<-predict(lda.fit)
> names(lda.pred)
[1] "class" "posterior" "x"
> lda.class<-lda.pred$class
> lda.class[1:10]
[1] Up Down Down Up Up Up Down Up Up Down
Levels: Down Up
> table(lda.class)
lda.class
Down Up
216 1034
> table(lda.class,Smarket$Direction)
lda.class Down Up
Down 114 102
Up 488 546
> #改变判别准则
> lda.pred$posterior[1:10,]
Down Up
1 0.4861024 0.5138976
2 0.5027466 0.4972534
3 0.5104516 0.4895484
4 0.4817860 0.5182140
5 0.4854771 0.5145229
6 0.4920394 0.5079606
7 0.5085978 0.4914022
8 0.4896886 0.5103114
9 0.4774690 0.5225310
10 0.5049515 0.4950485
> #将概率大于0.5就判为UP类在准则改为大于0.51
> sum(lda.pred$posterior[,2]>0.51)
[1] 822
Quadratic Discriminant Analysis
二次判别分析 qda(formula, data, ..., subset)
>
> library(MASS)
> qda.fit<-qda(Direction~Lag1+Lag2,data=Smarket)
> qda.fit
Call:
qda(Direction ~ Lag1 + Lag2, data = Smarket)
Prior probabilities of groups:
Down Up
0.4816 0.5184
Group means:
Lag1 Lag2
Down 0.05068605 0.03229734
Up -0.03969136 -0.02244444
> qda.pred<-predict(qda.fit,Smarket)
> names(qda.pred)
[1] "class" "posterior"
> qda.pred$class[1:10]
[1] Up Up Down Up Up Up Down Up Up Up
Levels: Down Up
> qda.pred$posterior[1:10,]
Down Up
1 0.4754475 0.5245525
2 0.4944981 0.5055019
3 0.5083068 0.4916932
4 0.4780731 0.5219269
5 0.4773961 0.5226039
6 0.4836726 0.5163274
7 0.5013701 0.4986299
8 0.4916379 0.5083621
9 0.4675238 0.5324762
10 0.4967838 0.5032162
> table(qda.pred$class,Smarket$Direction)
Down Up
Down 109 94
Up 493 554
>
K-Nearest Neighbors
K最近邻 knn(train, test, cl, k = 1)
测试集(matrix/data.frame) train ； 训练集(matrix/data.frame) test ； 测试集的正确类 cl ; 参考的邻近元个数 k
在使用knn(...)之前需要设置随机种子，因为当最K邻近元的个数超过K时，对第K最邻近元会随机选择，设置随机种子可以保证模型结果的可重复
>
> library(class)
> attach(Smarket)
> train<-Year<2005
> #测试集和训练集
> train.X<-cbind(Lag1,Lag2)[train,]
> test.X<-cbind(Lag1,Lag2)[!train,]
> train.Y<-Direction[train]
> #设置随机种子
> set.seed(1)
> knn.pred<-knn(train.X,test.X,train.Y,k=1)
> knn.pred[1:10]
[1] Up Down Up Up Up Down Down Down Down Up
Levels: Down Up
>#K=1
> table(knn.pred,Direction[!train])
knn.pred Down Up
Down 43 58
Up 68 83
> #K=3
> knn.pred<-knn(train.X,test.X,train.Y,k=3)
> table(knn.pred,Direction[!train])
knn.pred Down Up
Down 48 54
Up 63 87
>
