R实战 第七篇：plyr包
在数据分析中，整理数据的本质可以归纳为：对数据进行分割（Split），然后应用（Apply）某些处理函数，最后将结果重新组合（Combine）成所需的格式返回，简单描述为：Split - Apply - Combine，各个步骤的作用是：
- Split：把要处理的数据分割成小片断，常用的函数是split()，subset()；
- Apply：对每个小片断独立进行操作，常用的是apply家族函数，plyr包核心函数；
- Combine：把片断重新组合，常用的函数是unlist()函数。
这个过程可以通过Base包的apply家族函数来实现，apply家族函数包括了apply、sapply、lapply、tapply、aggregate等，可以应用于数据分析的各个阶段。
plyr包是apply家族函数的升级版本，使用plyr包可以实现：在一个函数内同时完成“Split - Apply - Combine”，并且，plyr包实现R类型（vector, list, data.frame）之间的分组变换，基本上可以取代Base包中的apply家族函数。
plyr包对核心函数的命名采用统一的格式：**ply，所有的函数名都由5个字符组成，且最后三个字符是ply，函数名的第一个字符代表输入数据的类型，第二个字符代表输出数据的类型，R类型的简写是：
- d：data.frame
- l：list
- a：array，vector，matrix
- r：代表replicate，重复多次
- m：多输入
- _：舍弃输出结果
这种统一的命名格式，使得plyr包的函数更容易记忆和使用，但是，plyr包不是预装于R语言中，使用之前，需要加载和引用plyr包：
install.packages("plyr")
library(plyr)
一，plyr包函数
plyr包用于在R中实现split-apply-combine的模式，这中模式在数据分析中是极其常见的，通过把数据分解为小的分片，然后在分片上做操作，最后把结果组合在一起，以解决复杂的分析问题。因此，当遇到复杂的数据分析问题时，一般都需要把复杂的问题分组，然后在每个分组上做操作，最终把每个分组上的结果组合到一起。plyr包的函数很多，除了**ply的核心函数之外，还有一些辅助函数，在处理数据时，都十分有用。
1，ddply
plyr包中最常用的函数是ddply()函数，该函数对数据框进行操作，对每一行调用一个函数，并返回数据框类型：
ddply(.data, .variables, .fun = NULL, ...)
参数注释：
- .data：函数处理的数据框；
- .variables：要进行拆分的变量名称，传递变量的格式是： .(col_name)，就是把进行分组的变量名包含在.()中；
- .fun：应用到每行的函数
- ...：传递到fun的其他参数
对于参数fun，有两种赋值方式：
第一种： 如果使用colwise()函数，那么这使ddply函数把参数fun应用于每一列，除了参数.variable指定的数据列之外，例如：
ddply(diamonds,.(color),colwise(mean))
第二种： 使用summarize函数对指定的列执行操作，更为灵活，例如：
> ddply(diamonds,.(color),summarize,avg_price=mean(price),avg_carat=mean(carat)) color avg_price avg_carat 1 D 3169.954 0.6577948 2 E 3076.752 0.6578667
.....
2，each函数
plyr包的each()函数，能够把多个函数整合到一个函数中，每一个函数必须只能返回一个数值：
each(...)
使用each()函数，可以使函数aggregate()同时调用多个函数：
> aggregate(cbind(price,carat)~cut+color,diamonds,each(mean,sum))
cut color price.mean price.sum carat.mean carat.sum
1 Fair D 4291.061 699443.000 0.9201227 149.9800000
2 Good D 3405.382 2254363.000 0.7445166 492.8700000
......
3，rename函数
按照名字对变量重命名：
rename(x, replace, warn_missing = TRUE, warn_duplicated = TRUE)
参数注释：
- x： 重命名的对象
- replace：命名的向量，格式是：c(new_name=old_name,...)
使用rename函数对数据框的变量进行重命名，例如：
rename(mtcars, c("disp" = "displacement"))
4，arrange函数
按照数据框的变量对数据框排序，注意，arrange()函数不会保留行名称（row.names）
arrange(df, ...)
例如，按照变量cyl和disp，对数据框mtcars进行排序：
# sort mtcars data by cylinder and displacement mtcars[with(mtcars, order(cyl, disp)), ] # Same result using arrange: no need to use with(), as the context is implicit arrange(mtcars, cyl, disp)
5，mutate函数
对数据框进行转换，或增加新的变量，或替换已经存在的变量，该函数和transfrom函数十分相似，不过，mutate()函数是递进式的，这使得后期的转换可以使用早期创建的变量。
# Things transform can't do mutate(airquality, Temp = (Temp - 32) / 1.8, OzT = Ozone / Temp)
6，name_rows函数
在设计时，没有plyr函数会保留行名称（row names）。如果想保留行名称，可以使用name_rows()把行名称转换为显式的列值，在执行为相应的plyr操作之后，再使用name_rows把列值转换为行名称。
name_rows(df)
参数df ：数据框对象，拥有 rownames，或者显式的列名 .rownames
二，拆分-应用-组合
在R语言中，分组聚合可以通过三步实现：拆分-应用-合并（Split-Apply-Combine）。例如，对玩家的游戏成绩进行统计和分析，创建示例数据：
> players_scores <- data.frame(
player=rep(c('Tom','Dick','Jim'),times=c(2,5,3)),
score=round(runif(10,1,100),-1)
)
1，分组数据
计算每个玩家的平均得分，首先对玩家分组，需要用到split()函数，按照特定的字段对数据进行分组：
split(x, f, drop = FALSE, ...)
参数注释：
- x：数据框或向量，是被分组的数据；
- f：因子类型，按照f对x进行分组；
函数的返回值是一个列表对象，每一个列表项都是包含分组数据的向量。
例如，split(score,player)函数的作用是按照player字段把数据框中的score拆分成一组，也就是说，player 相同的score是同一个分组，填充到同一个列表项中：
> (scores_by_player <- with(players_scores,split(score,player))) $Dick [1] 70 20 30 70 70 $Jim [1] 80 90 50 $Tom [1] 80 90
2，应用函数
当数据分割之后，对每个分组计算平均分。使用lapply()函数，对于每个列表项，应用mean()函数，计算单个列表项的平均值，例如：
list_mean_by_player <- lapply(scores_by_player,mean)
3，组合数据
组合数据是为了显示数据，在显示最终的数据时，通常把列表转换为向量。lapply()函数返回的结果是一个列表对象，每一个列表项都是一个向量，因此可以使用unlist()函数，把列表转换为向量，例如：
> unlist(list_mean_by_player)
Dick Jim Tom
52.00000 73.33333 85.00000
三，使用apply家族函数实现分组聚合
在apply家族函数中，每个函数都用于特定的数据类型：
- apply函数只能用于矩阵，
- lapply函数能够用于向量和列表（list），其工作原理是把一个函数应用于一个列表中的每个元素上，并且把结果作为列表返回；
- sapply处理列表，返回向量。
- mapply函数，把调用的函数应用到多个列表的每一个元素中。
- tapply函数用于分组聚合运算，在研究数据时，有时需要对数据按照特定的字段进行分组，然后统计各个分组的数据，这就是SQL语法中的分组聚合。
在数据分析中，使用Base包实现”拆分-应用-合并“ 显得十分繁琐，可以使用tapply()函数一次完成所有的三个步骤，一气呵成：
with(players_scores,tapply(score,player,mean))
tapply()函数常用的参数共有三个，第一个参数是数据框对象或向量，第二个参数是因子列表，也就是分组字段，第三个参数是指对单个分组应用的函数：
tapply(X, INDEX, FUN = NULL, ...)
by()函数和aggregate()函数是tapply()函数的包装函数，功能相同，接口稍微不同。
by(data, INDICES, FUN, ..., simplify = TRUE)
aggregate(x, by, FUN, ..., simplify = TRUE, drop = TRUE)
四，使用plyr包实现分组聚合
函数daply的作用是分割数据框，对每个分组应用聚合函数，最后把每个分组的聚合值组合起来，以数组的形式返回：
daply(.data, .variables, .fun = NULL, ...)
参数注释：
- .data：数据框，存储用于分析的数据；
- .variables：分组字段，指定分组字段的格式是 .(col_name)；
- .fun：应用于每个分组的函数，有两种方式，上文有详细介绍。
为了计算每个player的平均得分，可以使用daply()函数，例如，
unlist(daply(players_scores,.(player),summarize,varScore=mean(score)))
在示例中，daply()函数返回的类型是list，通过unlist()函数转换为向量。至于为什么返回的是list，而不是数组，我也很疑惑。
参考文档：
