R语言-回归分析笔记

使用若干自变量并建立公式,以预测目标变量

目标变量是连续型的,则称其为回归分析

(1)一元线性回归分析

y=kx+b

sol.lm<-lm(y~x,data)

abline(sol.lm)

使模型误差的平方和最小，求参数k和b，称为最小二乘法

 

k=cov(x,y)/cov(x,x)

b=mean(y)-k*mean(x)

 

 估计参数b，k的取值范围 p元模型 p是自变量数，n是样本数

[ki-sd(ki)ta/2(n-p-1),ki+sd(ki)ta/2(n-p-1)] k0表示回归模型的b;   k1表示k;sd(k)是标准差

自由度 df<-sol.lm$df.residual

left<-summary(sol.lm)$coefficients[,1]-summary(sol.lm)$coeffients[,2]*qt(1-alpha/2,df)

right<-summary(sol.lm)$coefficients[,1]+summary(sol.lm)$coeffients[,2]*qt(1-alpha/2,df)

 

衡量相关程度

变量x和y相关系数r=Sxy/sqrt(Sxx)sqrt(Syy) 取值范围是[-1,1]  cor(x,y)  

判定系数r^2

 

修正判定系数 adjusted.r^2

判定系数在用于多元回归分析时有一个缺点，自变量数越多，判定系数越大

 

回归系数的显著性检验

 

T检验 summary(sol.lm)$coefficients[,4]

计算得到的p.value值越小，其值等于0的概率也就越小，当p.value<0.05，可认定k!=0

 

F检验 summary(sol.lm)$p.value

在整体上检验模型参数是否为0，并计算等于0的概率,当p.value<0.05,则通过了F检验

 

summary(sol.lm)$fstatistic 给出了样本自由度f、自变量自由度df1、F值df2

 

可以使用如下代码直接读取p.value值

pf(f,df1,df2,lower.tail=F) 或 1-pf(f,df1,df2)

模型误差(残差)  residuals

 

对一个正确的回归模型,其误差要服从正态分布

 

残差的标准误差可以从整体上体现一个模型的误差情况，它可以用于不同模型间性能的对比

 

预测

predict(sol.lm)

(2)多元回归分析

sol.lm<-lm(formula=y~. ,data.train)

 

模型修正函数update(object,formula)

update函数可以在lm模型结果的基础上任意添加或减少自变量，或对目标变量做取对数及开方等建模

 例如:

增加x2平方变量

lm.new<-update(sol.lm, .~.+I(x2^2))

删除x2变量

.~.-x2

把x2变为x2平方变量

.~.-x2+I(x2^2)

增加x1*x2

.~.+x1*x2

在模型中对y开方建模

sqrt(.)~.

 

逐步回归分析函数 step()

逐步减少变量的方法

lm.step<-step(sol.lm)

模型的ACI数值越小越好

 

自变量中包含分类型数据的回归分析

分类变量a的取值为i,则模型预测值是f(a1=0,...ai=1,ap=0)

 

(3)Logic回归 y=1/(1+exp(-x)) 使用最大似然法来估算

使用RODBC包读取Excel文件

 

root<-"C:/"

file<-paste(root,"data.xls",sep="")

library(RODBC)

excel_file<-odbcConnectExcel(file)

data<-sqlFetch(excel_file,"data")

close(excel_file)

 

使用模型的预测正确率来衡量

 

                               预测数据

                              num11              num10

实际数据                 num01             num00

 

预测正确率=(num11+num00)/样本总数量=(num11+num00)/(num11+num10+num01+num00)

 

t()返回转置

 

glm()是用R语言实现logic回归分析的核心函数

family=binomial("logit")

使用step()函数对模型进行修正

str函数查看包含的数据属性

 

模型预测

new<-predict(old,newdata=test.data)

new<-1/(1+exp(-new))

new<-as.factor(ifelse(new>=0.5,1,0))

 

模型的性能衡量

performance<-length(which((predict.data==data)==TRUE))/nrow(data)

(4)回归树CART

实现CART算法的核心函数是rpart包的rpart函数，再用plot函数画

maptree包的draw.tree函数

 

读取叶节点sol.rpart$frame$var=="<leaf>"

读取叶节点序号sol$rpart$where

要使测试集误差和回归树的规模尽可能小

 

cp复杂度系数 sol.rpart$cptable

xerror是通过交叉验证获得的模型误差

xstd是模型误差的标准差     xerror取xerror+/-xstd

剪枝就是找到一个合理的cp值

随着拆分的增多，复杂性参数会单调下降，但预测误差会先降后生

 

剪枝

prune(sol.part,0.02) 把cp<0.02的树剪除

使用plotcp()函数可以绘制出cp的波动关系