数据分析和R语言的那点事儿_1
最近遇到一些程序员同学向我了解R语言，有些更是想转行做数据分析，故开始学习R或者Python之类的语言。在有其他编程语言的背景下，学习R的语法的确是一件十分简单的事。霸特，如果以为仅仅是这样的话那就图样图森破。
首先，数据分析是一个非常庞杂的职能，也许岗位抬头均为数据分析师的两人，做的事情却大不相同——比如使用hadoop做日志统计和使用Excel处理报表，这简直是两个领域，相互之间的职能了解，可能仅为对方工作的冰山一角。
其次，无论任何行业的数据分析，其日常工作主要为以下几块：数据获取——数据库，统计网站，BI，各种生产系统数据，网页爬虫；
数据处理与探索——把各个来源的数据根据分析目的糅合在一起，删补缺失值，处理极端或异常值，探索各维度的分布情况；
分析——提出基于各个维度的假设，根据计算结果验证；
结果展示——图、表、报告；
并且不同的行业的数据分析，侧重方向也不同，比如金融行业，更注重于量化策略和时间序列分析；对于生物统计，更多的考验来自于稀疏矩阵的计算。 总之，如果只是学到了R语言的语法，你也做不了太多的事情。好在以上所说的，R目前的环境基本都支持。
R与其被称之为一个统计软件，不如称其为一个数学计算环境，其强大的功能主要来自于各式扩展包，不同的包满足了不同的计算需求。截止到目前，官方社区CRAN（https://cran.r-project.org/）上收录了7261个扩展包。1、数据获取
获取数据是展开分析工作的前提，目前R语言几乎支持所有主流数据库的连接，各种数据分析软件如SPSS、SAS文件的交互，基本文件存储格式如txt、csv、json、xlsx等的I/O功能，且有很强大的扩展功能。比如对于xlsx文件，可以设置单元格格式、筛选、边框、字体、数值格式等等。
R也有支持网页爬虫和HTML、XML解析的扩展包如RCurl、rvest等。2、数据处理与清洗
在实际工作中，数据处理往往占总工作时间的70%甚至更多，因不同的分析目的或分析假设，需要把数据按不同维度、不同粒度进行汇总、归类、整理和探索。
R在这方面也有自己的优势，其拥有大量的基于C++编写的速度极快的扩展包，如plyr、dplyr等。3、分析数据
分析数据是整个流程的关键，也最为考验分析师水平；
一方面，从数据、表格、趋势图、数据的交叉对比中发现数据的规律，从而发现观察到业务上的问题。这就是常说的数据分析的方法论，如何根据业务，有逻辑的去提出假设，验证假设。比如，当我们发现销售额下降，那么需要分析的目的就是什么因素引起了其下降。在这里的逻辑为，针对某一维度，假设其下降导致了销售额的下降，从而对数据进行验证。
另一方面就是如何对假设进行验证，比如我们的假设是转化率下降，那么就要验证当前的转化率是否低于上一周期，或者历史同期，或者某一时间段内的转化率均值低于另一段时间的均值。如此可见，对于假设的验证就需要相当多的统计方法，例如对于某一组数据与另一组数据的均值差异的检验，就需要t检验或者z检验，而如果仅仅使用简单的算术平均值作为比较往往说服力不够。
而R语言也同样提供了大量统计计算的扩展包与函数，从而使使用者能灵活机动的进行数据分析。当然，作为一门编程语言，也可以创造出符合业务需要的新的统计计算方法。
为了方便起见，我们使用R自带的iris——鸢尾花数据集做一些小的测试。
iris数据集已经被集成在R的环境里，故不需要做任何的导入即可进行分析，首先我们来看看数据是什么样的：#以下的包如果没有安装需使用install.packages安装，如：install.packages("plyr")
library(plyr)
library(dplyr)
library(magrittr)
library(ggplot2)
#查看数据的基础信息
head(iris)#查看数据的前六行## Sepal.Length Sepal.Width Petal.Length Petal.Width Species
## 1 5.1 3.5 1.4 0.2 setosa
## 2 4.9 3.0 1.4 0.2 setosa
## 3 4.7 3.2 1.3 0.2 setosa
## 4 4.6 3.1 1.5 0.2 setosa
## 5 5.0 3.6 1.4 0.2 setosa
## 6 5.4 3.9 1.7 0.4 setosaglimpse(iris)#查看每个变量的信息## Observations: 150
## Variables:
## $ Sepal.Length (dbl) 5.1, 4.9, 4.7, 4.6, 5.0, 5.4, 4.6, 5.0, 4.4, 4.9,...
## $ Sepal.Width (dbl) 3.5, 3.0, 3.2, 3.1, 3.6, 3.9, 3.4, 3.4, 2.9, 3.1,...
## $ Petal.Length (dbl) 1.4, 1.4, 1.3, 1.5, 1.4, 1.7, 1.4, 1.5, 1.4, 1.5,...
## $ Petal.Width (dbl) 0.2, 0.2, 0.2, 0.2, 0.2, 0.4, 0.3, 0.2, 0.2, 0.1,...
## $ Species (fctr) setosa, setosa, setosa, setosa, setosa, setosa, ...unique(iris$Species)#查看Species变量的唯一值## [1] setosa versicolor virginica
## Levels: setosa versicolor virginicatable(iris$Species)#查看每个分类的记录个数##
## setosa versicolor virginica
## 50 50 50数据集为5*150，共5个变量，150条数据。共三个品种的鸢尾花，每个品种50条记录，分别统计了花瓣和花萼的长度与宽度。
我们可以假设，不同品种的鸢尾花的花瓣、花萼的长宽可能是有差异的，再来看看基础的统计量。#分片查看数据信息
dlply(iris,.(Species),summary)## $setosa
## Sepal.Length Sepal.Width Petal.Length Petal.Width
## Min. :4.300 Min. :2.300 Min. :1.000 Min. :0.100
## 1st Qu.:4.800 1st Qu.:3.200 1st Qu.:1.400 1st Qu.:0.200
## Median :5.000 Median :3.400 Median :1.500 Median :0.200
## Mean :5.006 Mean :3.428 Mean :1.462 Mean :0.246
## 3rd Qu.:5.200 3rd Qu.:3.675 3rd Qu.:1.575 3rd Qu.:0.300
## Max. :5.800 Max. :4.400 Max. :1.900 Max. :0.600
## Species
## setosa :50
## versicolor: 0
## virginica : 0
##
##
##
##
## $versicolor
## Sepal.Length Sepal.Width Petal.Length Petal.Width
## Min. :4.900 Min. :2.000 Min. :3.00 Min. :1.000
## 1st Qu.:5.600 1st Qu.:2.525 1st Qu.:4.00 1st Qu.:1.200
## Median :5.900 Median :2.800 Median :4.35 Median :1.300
## Mean :5.936 Mean :2.770 Mean :4.26 Mean :1.326
## 3rd Qu.:6.300 3rd Qu.:3.000 3rd Qu.:4.60 3rd Qu.:1.500
## Max. :7.000 Max. :3.400 Max. :5.10 Max. :1.800
## Species
## setosa : 0
## versicolor:50
## virginica : 0
##
##
##
##
## $virginica
## Sepal.Length Sepal.Width Petal.Length Petal.Width
## Min. :4.900 Min. :2.200 Min. :4.500 Min. :1.400
## 1st Qu.:6.225 1st Qu.:2.800 1st Qu.:5.100 1st Qu.:1.800
## Median :6.500 Median :3.000 Median :5.550 Median :2.000
## Mean :6.588 Mean :2.974 Mean :5.552 Mean :2.026
## 3rd Qu.:6.900 3rd Qu.:3.175 3rd Qu.:5.875 3rd Qu.:2.300
## Max. :7.900 Max. :3.800 Max. :6.900 Max. :2.500
## Species
## setosa : 0
## versicolor: 0
## virginica :50
##
##
##
##
## attr(,"split_type")
## [1] "data.frame"
## attr(,"split_labels")
## Species
## 1 setosa
## 2 versicolor
## 3 virginica从结果可以看出setosa品种的花瓣从长度和宽度来看都是最小的，基本从花瓣的长宽就可以判断此品种。
进一步来看，图说有益，首先看花瓣的形状：#花瓣长宽的散点图
qplot(Petal.Length,Petal.Width,data=iris,color=Species,shape=Species)
#花萼长宽的散点图
qplot(Sepal.Length,Sepal.Width,data=iris,color=Species,shape=Species)
由此可见，seotosa品种可以很直观的与其他两个品种区分开来。而versicolor品种的花瓣也比virginica要小很多，但有少量的值是混在一起的，花萼的区别不太明显，简单的做个t检验：
#t.test
t.test(filter(iris,Species=="versicolor")%$%
Sepal.Length,
filter(iris,Species=="virginica")%$%
Sepal.Length,var.equal=T)##
## Two Sample t-test
##
## data: filter(iris, Species == "versicolor") %$% Sepal.Length and filter(iris, Species == "virginica") %$% Sepal.Length
## t = -5.6292, df = 98, p-value = 1.725e-07
## alternative hypothesis: true difference in means is not equal to 0
## 95 percent confidence interval:
## -0.8818516 -0.4221484
## sample estimates:
## mean of x mean of y
## 5.936 6.588t.test(filter(iris,Species=="versicolor")%$%
Petal.Length,
filter(iris,Species=="virginica")%$%
Petal.Length,var.equal=T)##
## Two Sample t-test
##
## data: filter(iris, Species == "versicolor") %$% Petal.Length and filter(iris, Species == "virginica") %$% Petal.Length
## t = -12.604, df = 98, p-value < 2.2e-16
## alternative hypothesis: true difference in means is not equal to 0
## 95 percent confidence interval:
## -1.495426 -1.088574
## sample estimates:
## mean of x mean of y
## 4.260 5.552在95%的显著水平下，两者的长度还是有明显的差距。4、结果展示
R语言有着丰富的可视化包。对于图，无论是常用的直方图、饼图、条形图等，还是复杂的组合图、地图、热图、动画都有非常完善的扩展包，>>比如上例中使用的ggplot2。而shiny包也支持局域网内部小型BI的展示，knitr支持自动化报告的生成。
当然，R语言与数据分析的小秘密自然不止如此这般，如果真的下决心学习R，对以下的学习曲线要有个准备，瓶颈必然在于数据分析。data=data.frame(x=seq(0.005,5,0.005),y=2^(seq(0.01,10,0.01)))
ggplot(data,aes(x,y))+
geom_line(colour="red")+
theme(axis.text.x=element_blank(),axis.text.y=element_blank())+
labs(list(title="R语言学习曲线",x="学习时间",y="学习难度"))
附：本文所使用代码
#以下的包如果没有安装需使用install.packages安装，如：install.packages("plyr")
library(plyr)
library(dplyr)
library(magrittr)
library(ggplot2)
#查看数据的基础信息
head(iris)#查看数据的前六行
glimpse(iris)#查看每个变量的信息
unique(iris$Species)#查看Species变量的唯一值
table(iris$Species)#查看每个分类的记录个数
#分片查看数据信息
dlply(iris,.(Species),summary)
#花瓣长宽的散点图
qplot(Petal.Length,Petal.Width,data=iris,color=Species,shape=Species)
#花萼长宽的散点图
qplot(Sepal.Length,Sepal.Width,data=iris,color=Species,shape=Species)
#t.test
t.test(filter(iris,Species=="versicolor")%$%
Sepal.Length,
filter(iris,Species=="virginica")%$%
Sepal.Length,var.equal=T)
t.test(filter(iris,Species=="versicolor")%$%
Petal.Length,
filter(iris,Species=="virginica")%$%
Petal.Length,var.equal=T)
data=data.frame(x=seq(0.005,5,0.005),y=2^(seq(0.01,10,0.01)))
ggplot(data,aes(x,y))+
geom_line(colour="red")+
theme(axis.text.y=element_blank(),axis.text.y=element_blank())+
labs(list(title="R语言学习曲线",x="学习时间",y="学习难度"))
