R-大数据分析挖掘（1-R基础）

 

数据挖掘中的多层模型中，最底层的是DataSource数据源，可以来源于数据库，网上抓取的数据等

基于数据源之上的是数据仓库的构建，主要是使用OLAP（联机分析处理技术）。数据仓库之上是

Data Exploration（数据的探索）主要有统计分析，查询和报表。在上面是Data Mining（数据挖掘）

主要是知识发现和商业价值信息的挖掘。将挖掘出有用的数据在Data Presentation进行数据的呈现，

该层主要是通过相应的工具图表等进行数据的展示，基于数据的展示最后使得公司或团体做决策。

     因此，大数据分析挖掘共6个大步骤，我们可以从数据的来源---->构建数据仓库----->

基于数据仓库的数据分析------>数据挖掘----->数据展现---->以数据为商业提供决策。

（一）数据分析的指标

（二）数据分析工具

（三）数据挖掘

      数据挖掘是以查找隐藏在数据中信息为目标的技术，是应用算法从大型数据库中提取知识的过程，

这些算法确定信息项之间的隐性关联，并向用户显示这些关联。

      数据挖掘的思想来源：假设检验，模式识别，人工智能，机器学习

     （机器学习是数据挖掘的一个分支，利用机器学习的技术进行数据挖掘）

      常见的数据挖掘任务：关联分析，聚类分析，孤立点分析等等

      eg：啤酒和尿布的故事：

      今天听到了新解的啤酒喝尿布的故事：当大家去买啤酒的时候，发现啤酒的价格正好是3.27，

这个时候为了不找零钱就顺手拿起了旁边的尿布2.73，这样也省的找钱了。所以超市在摆放商铺

的时候，就会把两种或N中商品的价格为正数的放在一起，这样就会促进了销量。<哈哈>

（四）数据挖掘方法论

      为了项目顺利实施的保障：

      我们将数据挖掘氛围六部分来显示：

• 商业理解
• 数据理解
• 数据准备
• 建立模型
• 模型评估
• 模型发布

        

（四）数据挖掘技术分类

（五）R语言

      R是一套完整的数据处理、计算、制图的软件系统。可完成几部分事情：

• 数据存储和处理系统
• 数组运算工具（向量、矩阵强大）
• 完整的统计分析工具
• 优秀的制图功能
• 简单而强大的编程语言
• 可操纵数据的输入和输出
• 可以实现分支，循环，用户可自定义功能

　　在R安装的时候只包含了8个模块的模块，其他模块通过CARN获得。

（一）基本运算

sd(stats)
    sd()所属R语言包：stats
    Standard Deviation标准偏差

prod（）向量元素里面所有元素的乘积

查看帮助信息：

（二）利用R读取CSV的数据

F://  不要写成F:\，同时xls文件应该另存为csv文件

数据显示如下:

注：

   

（三）RODBC---实验不成功

安装：rodbc

 

注：

http://jingyan.baidu.com/article/f54ae2fcd4abb41e93b8494d.html?qq-pf-to=pcqq.group

（四）向量

 

seq类似与数组，一般不常用

 

备注：seq，from:to，sequence：等差序列

（五）新建向量：

（六）生成矩阵

============================================

注：

每一种分布有四个函数：d――density（密度函数），p――分布函数，q――分位数函数，r――随机数函数。
比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。

（七）数据框---

（八）R绘图

（九）For语句

（十）R脚本

　　

  

（十）综合例子

1.模拟成绩

2.数据测处理：

3，data.frame

写到本地

4,计算均分

apply：对数组的某些维应用函数

R语言常用函数参考

基本

一、数据管理

vector：向量 numeric：数值型向量 logical：逻辑型向量 character；字符型向量 list：列表 
data.frame：数据框 c：连接为向量或列表 length：求长度 subset：求子集 seq，from:to，sequence：等差序列 
rep：重复 NA：缺失值 NULL：空对象 sort，order，unique，rev：排序 unlist：展平列表 attr，attributes：对象属性 
mode，typeof：对象存储模式与类型 names：对象的名字属性

二、字符串处理

character：字符型向量 nchar：字符数 substr：取子串 format，formatC：把对象用格式转换为字符串 paste，strsplit：连接或拆分
 charmatch，pmatch：字符串匹配 grep，sub，gsub：模式匹配与替换 　

三、复数

complex，Re，Im，Mod，Arg，Conj：复数函数 　

四、因子

factor：因子 codes：因子的编码 levels：因子的各水平的名字 nlevels：因子的水平个数 cut：把数值型对象分区间转换为因子 
table：交叉频数表 split：按因子分组 aggregate：计算各数据子集的概括统计量 tapply：对“不规则”数组应用函数

数学

一、计算

+, -, *, /, ^, %%, %/%：四则运算 ceiling，floor，round，signif，trunc，zapsmall：舍入 max，min，pmax，pmin：最大最小值 
range：最大值和最小值 sum，prod：向量元素和，积 cumsum，cumprod，cummax，cummin：累加、累乘 sort：排序 approx和approx fun：插值 diff：差分 sign：符号函数 　

二、数学函数

abs，sqrt：绝对值，平方根 log, exp, log10, log2：对数与指数函数 sin，cos，tan，asin，acos，atan，atan2：三角函数 
sinh，cosh，tanh，asinh，acosh，atanh：双曲函数

beta，lbeta，gamma，lgamma，digamma，trigamma，tetragamma，pentagamma，choose ，lchoose：与贝塔函数、伽玛函数、组合数有关的特殊函数

fft，mvfft，convolve：富利叶变换及卷积 polyroot：多项式求根 poly：正交多项式 spline，splinefun：样条差值 
besselI，besselK，besselJ，besselY，gammaCody：Bessel函数 deriv：简单表达式的符号微分或算法微分

　

三、数组

array：建立数组 matrix：生成矩阵 data.matrix：把数据框转换为数值型矩阵 lower.tri：矩阵的下三角部分 mat.or.vec：生成矩阵或向量 t：矩阵转置
 cbind：把列合并为矩阵 rbind：把行合并为矩阵 diag：矩阵对角元素向量或生成对角矩阵 aperm：数组转置 nrow, ncol：计算数组的行数和列数 dim：对象的维向量 
dimnames：对象的维名 row/colnames：行名或列名 %*%：矩阵乘法 crossprod：矩阵交叉乘积（内积） outer：数组外积 kronecker：数组的Kronecker积 
apply：对数组的某些维应用函数 tapply：对“不规则”数组应用函数 sweep：计算数组的概括统计量 aggregate：计算数据子集的概括统计量 scale：矩阵标准化
 matplot：对矩阵各列绘图 cor：相关阵或协差阵 Contrast：对照矩阵 row：矩阵的行下标集 col：求列下标集 　

四、线性代数

solve：解线性方程组或求逆 eigen：矩阵的特征值分解 svd：矩阵的奇异值分解 backsolve：解上三角或下三角方程组 chol：Choleski分解 
qr：矩阵的QR分解 chol2inv：由Choleski分解求逆 　

五、逻辑运算

<，>，<=，>=，==，!=：比较运算符 !，&，&&，|，||，xor()：逻辑运算符 logical：生成逻辑向量 all，any：逻辑向量都为真或存在真
ifelse()：二者择一 match，%in%：查找 unique：找出互不相同的元素 which：找到真值下标集合 duplicated：找到重复元素 　

六、优化及求根

optimize，uniroot，polyroot：一维优化与求根

程序设计

一、控制结构

if，else，ifelse，switch：分支 for，while，repeat，break，next：循环 apply，lapply，sapply，tapply，sweep：替代循环的函数。 　

二、函数

function：函数定义 source：调用文件 call：函数调用 .C，.Fortran：调用C或者Fortran子程序的动态链接库。 Recall：递归调用 
browser，debug，trace，traceback：程序调试 options：指定系统参数 missing：判断虚参是否有对应实参 nargs：参数个数 stop：终止函数执行
on.exit：指定退出时执行 eval，expression：表达式计算 system.time：表达式计算计时 invisible：使变量不显示 menu：选择菜单（字符列表菜单）

其它与函数有关的还有：delay，delete.response，deparse，do.call，dput，environment ，，formals，format.info，interactive，
is.finite，is.function，is.language，is.recursive ，match.arg，match.call，match.fun，model.extract，name，parse，substitute，sys.parent ，warning，machine

三、输入输出

cat，print：显示对象 sink：输出转向到指定文件 dump，save，dput，write：输出对象 scan，read.table，load，dget：读入 　

四、工作环境

ls，objects：显示对象列表 rm, remove：删除对象 q，quit：退出系统 .First，.Last：初始运行函数与退出运行函数。 
options：系统选项 ?，help，help.start，apropos：帮助功能 data：列出数据集

统计计算

一、统计分布

每一种分布有四个函数：d――density（密度函数），p――分布函数，q――分位数函数，r――随机数函数。
比如，正态分布的这四个函数为dnorm，pnorm，qnorm，rnorm。下面我们列出各分布后缀，前面加前缀d、p、q或r就构成函数名：

norm：正态，t：t分布，f：F分布，chisq：卡方（包括非中心） unif：均匀，exp：指数，weibull：威布尔，gamma：伽玛，beta：贝塔 
lnorm：对数正态，logis：逻辑分布，cauchy：柯西， binom：二项分布，geom：几何分布，hyper：超几何，nbinom：负二项，pois：泊松 signrank：符号秩，
wilcox：秩和，tukey：学生化极差 　

二、简单统计量

sum, mean, var, sd, min, max, range, median, IQR（四分位间距）等为统计量，sort，order，rank与排序有关，其它还有ave，fivenum，mad，quantile，stem等。

三、统计检验

 R中已实现的有chisq.test，prop.test，t.test。 　

四、多元分析

cor，cov.wt，var：协方差阵及相关阵计算 biplot，biplot.princomp：多元数据biplot图 cancor：典则相关 princomp：主成分分析 hclust：谱系聚类 
kmeans：k-均值聚类 cmdscale：经典多维标度 其它有dist，mahalanobis，cov.rob。 　

五、时间序列

ts：时间序列对象 diff：计算差分 time：时间序列的采样时间 window：时间窗 　

六、统计模型

lm，glm，aov：线性模型、广义线性模型、方差分析