R中的data.table 快速上手入门
data.table包提供了一个非常简洁的通用格式：DT[i,j,by]。
可以理解为：对于数据集DT，选取子集行i，通过by分组计算j。
对比与dplyr等包，data.table的运行速度更快。
创建方式和data.frame 一样
创建一个data.frame：
DF = data.frame(x=c("b","b","b","a","a"),v=rnorm(5))
创建一个data.table：
DT = data.table(x=c("b","b","b","a","a"),v=rnorm(5))
data.frame转换为data.table类型：
DT = data.table(DF)
查看内存中所有的data.table
tables()
构建一个数据集用于测试
library(data.table)
CARS = data.table(cars)
X=data.table(speed=c(4,7,8),type=c("small","middle","large"))
dt <- CARS[X,on='speed']
tables()
dt
# speed dist type
# 1: 4 2 small
# 2: 4 10 small
# 3: 7 4 middle
# 4: 7 22 middle
# 5: 8 16 large
Keys
Keys在data.table中是一个重要的概念，在一个data.table中只能设置一个key，但是这一个key可以包含多个列。当我们设置好key后，data.table会将数据按照key来排序。
# 选取第二行
dt[2,]
# 选取speed=4 的行
dt[speed==4]
# 更快，更简单的表达
#筛选行
setkey(dt,type)
dt["small"]
dt[c("small","large")]
dt[.("small","large")]
dt["small",mult='first']
dt["small",mult='last']
dt[speed %between% c(7,8)]
dt[speed %in% c(7,8)]
all.equal(ans1,ans2)
#把列当作行 筛选其他列
dt["small",speed]
dt["small","speed"]
dt["small",2]
dt["small",2,on="type"]# on 相当于使用了setkey
# 筛选列
# 选取第一列
dt[,1]
# 选取第一到第二列
dt[,1:2]
# 选取列也可以直接输入列名
dt[,.(speed,dist)]
# 排序 speed升序，dist降序排列
setorder(dt,speed,-dist)
删选子集
选取子集仍然采用subset函数，调用公式为：
# subset是行满足条件
# select是列满足条件
> subset(x, subset, select)
subset(dt,speed==8,select =c('speed','dist'))
重排序数据框的列
可以通过数值位置重排序：
|
1
2
|
# 通过列的数值位置重排序dat = dat[c(1,3,2)] |
也可以通过列的名称重排序：
|
1
2
|
# 通过列的名称重排序dat = dat[c("col1", "col3", "col2")] |
# 接下下我们创建一个1000万行的数据，用来演示data.table的性能 grpsize = ceiling(1e7/26^2) # 10 million rows, 676 groups tt=system.time( DF <- data.frame( x=rep(LETTERS,each=26*grpsize), y=rep(letters,each=grpsize), v=runif(grpsize*26^2), stringsAsFactors=FALSE) ) dim(DF)
我们试试将DF中x为“R”的行与y为”h”的行提取出来
system.time(ans1 <- DF[DF$x=="R" & DF$y=="h",])
# 用户 系统 流逝
# 0.06 0.08 0.14
DT = as.data.table(DF)
system.time(setkey(DT,x,y))
# 用户 系统 流逝
# 0.05 0.01 0.07
system.time(ans2 <- DT[list("R","h")])
# 用户 系统 流逝
0 0 0
x与y这两列返回一个data.table
data.table也允许用 .() 来包围列名，它是 list() 的别名，它们的效果是同样的。如果不使用.()或者list，结果为返回一个向量
可以看到，当我们设置好key后，提取行的操作基本不需要等待时间，比我们平时用的操作快了100倍。要注意的是，如果使用”==”操作符，那么它会扫描整个数组，虽然data.table用这种方法也可以提取，但很慢，要尽量避免。
system.time(ans1 <- DT[x=="R" & y=="h"]) # works but is using data.table badly # 用户 系统 流逝 # 0.06 0.04 0.11
（不建议这样使用）
下面我们要看data.table的第二个参数
DT[,sum(v)] ## [1] 4999770 head(DT[,sum(v),by=x])
以上代码以x为分组，依次调用sum函数，统计了每个分组x的总和。
# 单一分组 dt[,.(total=sum(dist),avg=mean(dist)),by=type] # type total avg # 1: small 12 6 # 2: middle 26 13 # 3: large 16 16 # 多分组 dt[,.(total=sum(dist),avg=mean(dist)),by=list(type,speed)] # data.table有一个特殊的变量.N可以直接计算分组的观测值个数。 dt[,.N,by=type]
显然这一功能在plyr包和dplyr包也有相对应的函数实现，接下来我们比较一下这3个包的速度。
#plyr包
system.time(
ddply(DF,.(x),function(x)sum(x$v))
)
## user system elapsed
## 1.71 0.22 1.94
#dplyr包
system.time({
DF%>%
group_by(x)%>%
summarise(sum(v))
})
## user system elapsed
## 0.60 0.12 0.72
#data.table包
DT = as.data.table(DF)
system.time({
DT[,sum(v),by=x]
})
## user system elapsed
## 0.12 0.02 0.14
增加删除列
# 单变量添加
DT[i, LHS:=RHS, by=...]
# LHS为新建的变量，RHS为该变量的计算方式
# 双变量添加
DT[i, c("LHS1","LHS2") := list(RHS1, RHS2), by=...]
# #多变量添加，注意`:=`
DT[i, `:=`(LHS1=RHS1,LHS2=RHS2,...), by=...]
# 单变量 dt[,total:=speed+dist] # speed dist type total # 1: 4 10 small 14 # 2: 4 2 small 6 # 3: 7 22 middle 29 # 4: 7 4 middle 11 # 5: 8 16 large 24 # 删除变量（变量:=NULL即可） dt[,total:=NULL]
#当我们把data.frame数据框转化成data.table时，默认抛弃行名，不过我们也可以用一个参数保留行名成为新的一列
df1 <- data.frame(weight,height,row.names = name1) dt1 <- as.data.table(df1) dt2 <- as.data.table(df1,keep.rownames=T) # 将原来数据框中的行名当成一列，列名为rn dt1;dt2 as.data.table(df1,keep.rownames = "rownames") # 自己指定新增列的列名
# 数据合并仍然采用merge函数，只是合并对象必须是data.table类型，这样才能发挥出data.table的威力!> merge(x, y, by = NULL, by.x = NULL, by.y = NULL,all = FALSE, all.x = all, all.y = all, sort = TRUE, suffixes = c(".x", ".y"),
allow.cartesian=getOption("datatable.allow.cartesian"), ...)
dt1 <- data.table(A = letters[1:10], X = 1:10, key = "A") dt2 <- data.table(A = letters[5:14], Y = 1:10, key = "A")
join 连接操作
使用DT[X]，该操作会将X中key(没指定key则默认第一列)与DT的key作连接，同理，X[DT]会将DT与X作连接
DT = data.table(x=rep(c("a","b","c"),each=3), y=c(1,3,6), v=1:9)
DT ## x y v ## 1: a 1 1 ## 2: a 3 2 ## 3: a 6 3 ## 4: b 1 4 ## 5: b 3 5 ## 6: b 6 6 ## 7: c 1 7 ## 8: c 3 8
## 9: c 6 9
X = data.table(c("b","c"),foo=c(4,2))
X
## V1 foo
## 1: b 4
## 2: c 2
setkey(DT,x) DT[X] ## x y v foo ## 1: b 1 4 4 ## 2: b 3 5 4 ## 3: b 6 6 4 ## 4: c 1 7 2 ## 5: c 3 8 2 ## 6: c 6 9 2 setkey(X,V1) X[DT] ## V1 foo y v ## 1: a NA 1 1 ## 2: a NA 3 2 ## 3: a NA 6 3 ## 4: b 4 1 4 ## 5: b 4 3 5 ## 6: b 4 6 6 ## 7: c 2 1 7 ## 8: c 2 3 8 ## 9: c 2 6 9
我们也可以使用on操作来连接两个相同的列：
DT = data.table(x=rep(c("a","b","c"),each=3), y=c(1,3,6), v=1:9)
X = data.table(x=c("b","c"),foo=c(4,2))
DT[X, on="x"] # join on columns 'x'
## x y v foo
## 1: b 1 4 4
## 2: b 3 5 4
## 3: b 6 6 4
## 4: c 1 7 2
## 5: c 3 8 2
## 6: c 6 9 2
本文出自：http://blog.csdn.net/a358463121，感谢分享~
参考文献：https://cran.r-project.org/web/packages/data.table/data.table.pdf
Data.Table若干高级技巧
http://blog.csdn.net/iqqiqqiqqiqq/article/details/51812957
关于dplyr 和data.table的比较 可参考：
http://www.xueqing.tv/cms/article/213
