《R语言实战》读书笔记--第四章 基本数据管理
本章内容：
操纵日期和缺失值
熟悉数据类型的转换
变量的创建和重编码
数据集的排序，合并与取子集
选入和丢弃变量
多说一句，数据预处理的时间是最长的……确实是这样的，额。
4.1一个示例
4.2创建新变量
算术运算符：+、-、*、/、^(**)(求幂)、x %% y(取余运算)、x %/% y(整数除法)。
transform函数：
transform函数现在只用于数据框。对数据框进行操作。
例子：
mydata <- transform(mydata, sumx = x1+x2, meanx =(x1+x2)/2) #这里的x1和x2是mydata的两列
对数据框的操作请多用transform函数。
4.3变量的重编码
所谓重编码，就是根据一个变量与其他变量的现有值创建新值的过程。比如：
将一个连续型变量修改为一组类别值
将误编码的值替换为正确值
要进行重编码，可能用到逻辑运算符，逻辑运算符会返回TRUE或者FALSE。
其中，两个逻辑运算符想说一说：
1、书上说浮点型数据慎用 == ，果然是继承了c语言的特点……，不知为何这么说。
2、关于&和&&，&是比较向量中对应关系的所有数，而&&只是比较向量中的第一个数。ps.这里可能涉及到S3、S4面向对象的知识。
下面的函数：
within函数跟with类似，不过可以修改数据框，可是视为transform的替代函数。
比如：
within(data.frame,
{expr})
关于重编码函数,cut()可以将一个数值变量按照值域划分为区间，并返回一个因子。
cut(x, breaks, labels = NULL, include.lowest = FALSE, right = TRUE, dig.lab = 3, ordered_result = FALSE, ...) #上面的x是要分割的向量，breaks是一个数或者向量，如若是数的话， #表明分为具有相应个数水平的因子，如果是向量，那就是规定切分 #的点。dig.lab是几位有效数字，最后一项是是否为有序因子
还提到，car包中的recode函数可以方便的编码数值型、字符型和因子，doBY包中的recodevar()函数是很受欢迎的，试用了recodevar，很方便。
4.4变量的重命名
想要对变量名重命名，可以使用fix()函数，交互式的修改；可以使用reshape包中的rename函数（plyr包中有rename函数……），我一直使用的是 colnames……太麻烦了。
rename(x,c(oldname = "newname",...))
rename函数可以将向量和数据框直接修改名字。当然可以用names来命名，names(x)[1] <- ‘newname’。
4.5缺失值
R中缺失值用NA(Not Available)表示，不可能出现的结果用NaN（Not a Number）表示。is.na()可以判断是否是缺失值。is.na可以作用在向量、数据框上。可以用summary函数来查看一个数据框的情况。
注意：NA是不能比较的，即使是自己跟NA比较也不行，所以判断某个数是NA，a == NA 是不对的，曾经用过 which(data.frame == NA)不出结果，原来是这个原因。所以用 is.na函数才可以。
4.5.1重编码某些值为缺失值
就是说将异常值标为NA
4.5.2在分析中排除缺失值
在进行计算时，很多函数有参数 na.rm = TRUE，就把NA排除在外。当使用函数处理不完整数据时，最好用？函数名 来查看一下是不是有针对缺失值的参数。函数 na.omit()可以将不完整的观测值进行移除，是完全移除一条观测数据！在15章会有更详细的讨论。
4.6日期值
日期值通常以字符串的形式输入到R中，然后转化为以数值形式存储的日期变量。函数as.Date()执行这样的转换，并且可以规定读入数据的格式！！跟我想的不一样啊。
比如，dates <- as.Date(“8/11/2015”,”%m/%d%Y”)将日期按照%m/%d/%Y的格式读取数据并储存。一旦完成这样的转换，就可以对其进行分析、绘图等工作了。
Sys.Date()可以返回当天的日期，而date()可以返回当前日期和时间。
format函数可以接收一个参数，并且按照一定的格式输出。
format(x, trim = FALSE, digits = NULL, nsmall = 0L, justify = c("left", "right", "centre", "none"), width = NULL, na.encode = TRUE, scientific = NA, big.mark = "", big.interval = 3L, small.mark = "", small.interval = 5L, decimal.mark = ".", zero.print = NULL, drop0trailing = FALSE, ...)
上面的各种参数都是在设置输出的格式，用的时候再研究。书上的例子是，format(Sys.Date(),format = “%B %d %Y”).
R语言储存日期是以1970.1.1以来多少天的形式。所以可以做减法，as.Date(“date1”)-as.Date(“date2”).
difftime函数：
difftime(time1, time2, tz,#tz跟时间域有关系 units = c("auto", "secs", "mins", "hours", "days", "weeks"))
4.6.1日期转换为字符
用as.character即可。
4.6.2更多
两个包lubridate包，fCalendar可以提供日期识别、提取、加减等。
4.7类型转换
下面是判断和转换函数表：
后面的(if-then)结构可以跟is函数结合使用，以便按照不同方式处理数据。话说，有的时候函数需要特定类型的输入，需要强制类型转换。比如数据框的一列数字，但是提取一列以后返回的是因子类型，那么就要进行类型转换。
4.8数据排序
order函数，返回一个位置向量，返回向量从小到大排列的位置。
order(..., na.last = TRUE, decreasing = FALSE) sort.list(x, partial = NULL, na.last = TRUE, decreasing = FALSE, method = c("shell", "quick", "radix")) #参数说明：na.last是说把NA放在最后，decreasing是指升序排列 #partial 部分排序指标向量（还不太理解）
order函数根据两个以上的指标排序，用order(指标1，指标2,…)如果对某个指标按降序排，加符号即可。
4.9数据集的合并
4.9.1添加列
将两个数据框按照某些列合并，两个数据框以某些列联接（成为内联接），就可以进行合并。用的是merge()函数：
merge(x, y, by = intersect(names(x), names(y)), by.x = by, by.y = by, all = FALSE, all.x = all, all.y = all, sort = TRUE, suffixes = c(".x",".y"), incomparables = NULL, ...) # x,y:用于合并的两个数据框 # by,by.x,by.y:指定依据哪些行合并数据框,默认值为相同列名的列. # all,all.x,all.y:指定x和y的行是否应该全在输出文件. # sort:by指定的列是否要排序. # suffixes:指定除by外相同列名的后缀. # incomparables:指定by中哪些单元不进行合并.
merge函数可以实现SQL中的内联什么的，用的时候好好研究研究。可以用cbind函数合并列，用的很多。
4.9.2添加行
rbind函数，两个数据框变量得相同，但是顺序不一定相同。如果两个数据框列数不同。作如下处理：
1、删除dataframeA中多余变量；
2、向dataframeB中创建追加的变量，并设置为NA。
做个试验发现不对，rbind必须的列数相同。
4.10数据集取子集
4.10.1选入（保留）变量
比较有意思的一个选取，data.frame[paste(“q”,1:5,sep = “”)],挺好玩。数据框后面加列的名字即可。但是要用“”包起来。
4.10.2剔除（丢弃）变量
函数 %in%：
match(x, table, nomatch = NA_integer_, incomparables = NULL) x %in% table #参数说明：x是否有与tble中的元素 #nomatch 为匹配是返回的值 #incomparables table中不用匹配的量 #注意：match返回一个长度与x相同的向量，若匹配上，返回其table中的位置；匹配不上 #返回NA；而 %in% 返回一个长度与x相同的向量，匹配上返回TRUE，否则FALSE 例子： 注意这个例子中 d 中有重复值 d <- c(20,30,20,40,45,60) match(d,c(20,60,40)) d %in% c(20,60,40) 返回：[1] 1 NA 1 3 NA 2 和 [1] TRUE FALSE TRUE TRUE FALSE TRUE 又一个例子： 注意：table中有重复值 d <- c(20,30,40,45,60) match(d,c(20,60,40,20)) d %in% c(20,60,40,20) 返回： [1] 1 NA 3 NA 2 和 [1] TRUE FALSE TRUE FALSE TRUE 看得出来，table中如果有重复值，match返回值中只返回第一次出现的位置。
顺便：pmatch函数：
pmatch(x, table, nomatch = NA_integer_, duplicates.ok = FALSE) #pmatch 是部分匹配函数 #duplicates.ok 来标注是否匹配上以后将table中匹配上的值删除，默认FALSE是删除 例子： d <- c(20,30,40,45,60,20) pmatch(d,c(20,60,40,20)) 返回：[1] 1 NA 3 NA 2 4 #匹配上20以后将table中的第一个20删除，所以最后一个是值4 pmatch(d,c(20,60,40,20)，duplicates.ok = TRUE) 返回：[1] 1 NA 3 NA 2 1 #不删除，最后一个值是1 例子： pmatch("", "") # returns NA pmatch("m", c("mean", "median", "mode")) # returns NA pmatch("med", c("mean", "median", "mode")) # returns 2 pmatch(c("", "ab", "ab"), c("abc", "ab"), dup = FALSE) #return NA 2 1 pmatch(c("", "ab", "ab"), c("abc", "ab"), dup = TRUE) #return NA 2 2 #规则： 1. 如果可以完全匹配, 则认为匹配上了, 返回table中的位置; 2. 不满足上述条件, 如果是唯一部分匹配, 则返回table中的位置; 3. 不满足上述条件, 则认为没有值与其匹配上.
删除变量还可以用 data.frame$colname <- NULL.注意向量这样用是错误的。
4.10.3选入观测
写一下which函数：
which(x, arr.ind = FALSE, useNames = TRUE) arrayInd(ind, .dim, .dimnames = NULL, useNames = FALSE) #x是一个逻辑向量或数组，NA视为FALSE，arr.ind 是逻辑向量，表明是不是返回数组的坐标。否则值返回一个数（将一个矩阵或者数据框按列拉成向量，返回这个向量为TRUE的位置），TRUE则返回其每个维度的坐标。useNames 就是是不是出现行列的名字？。。。
row col [1,] 2 1 [2,] 1 2 [3,] 2 2 [4,] 3 2 [5,] 4 2
和
[1,] 2 1 [2,] 1 2 [3,] 2 2 [4,] 3 2 [5,] 4 2 的区别……
which.max 和 which.min 函数，返回最大最小值位置。
4.10.4subset函数
subset函数是选择和观测最简单的方法，下面写一下：
subset(x, subset, select, drop = FALSE, ...) #x可以是数据框，向量，矩阵，subset是一个逻辑表述，或者说是一个条件， #select是要选取的部分，drop = TRUE 是将得到的结果组成列表。
4.10.5随机抽样
sample函数：
sample(x, size, replace = FALSE, prob = NULL)
#x是备选向量，n 选取的数量，replace 表示是否有放回抽样，prob是与x长度相等的选取可能性向#量，不一定和为1
此外，sampling包和survey包可以有更多的选择。
4.11使用SQL语句操作数据框
安装好sqldf包就可以愉快的使用sql语句了。
书上说第五章很强大，非常期待。
