利用data.table包变形数据
一. 基础概念
data.table 这种数据结构相较于R中本源的data.frame 在数据处理上有运算速度更快，内存运用更高效，可认为它是data.frame 的升级版。同时，data.table 包具备更多更强的功能，它基本工作形式是，
dt [i, j, by]
dt 为data.table 结构
i 为行，j 为列，by 为分组
二. 创建 data.table
和data.frame一样，如下：
data.table(a=c(1, 2), b=c("a", "b"))
a b
1: 1 a
2: 2 b
转化data frame 或list 为 data.table，使用 setDT(df) （仅限于data.frame 和 list），as.data.table(df)(使用范围更广)
三. 取子集
3.1 行向（rows）：
3.1.1. 以row numbers，dt [1:2, ]
3.1.2. 以条件（本质上是逻辑值 TRUE OR FALSE）, dt [a>5, ]
有如下逻辑操作符：
< <= is.na() %in% | %like%
> >= !is.na() ! & %between%
3.2 列向（columns）：
3.2.1. 抽提（同行，与data.frame一致）
dt [, c(2)]
dt [, .(b, c)]
3.2.2. 归纳
dt [, .(x=sum(a))] -- 创建一个新data.table 用a列的和
其他函数如：mean，median， min， max等等
3.2.3. 计算列 (在:= 接上计算表达式)
dt [, c:=1+2]
dt[a == 1, c := 1 + 2]
dt[,`:=`(c = 1 , d = 2)] -- 计算分开计算多列
a b c d
1: 1 a 1 2
2: 2 b 1 2
3.2.4. 删除某列
dt[,c := NULL]
3.2.5. 转换某列
dt[,b := as.integer(b)] – 如as.integer(), as.numeric(),as.character(), as.Date()等函数
四. 分组（by）
dt[, j, by = .(a)] -- 由a列内容进行分组
dt[, j, keyby= .(a)] -- 由a列内容进行分组，同时分类排序
常规分组操作：
dt[, .(c = sum(b)), by = a] – 以a列分组来计算b列和
dt[,c := sum(b), by = a] – 创建新列c来储存按a列分组来计算b列和的结果
dt[, .SD[1], by = a] – 抽提a列分组的第一行
dt[, .SD[.N], by = a] – 抽提a列分组的最后一行
五. 链式操作
dt[…][…]
六. data.table的功能函数（重点）
6.1 重排
setorder(dt, a, -b) -- a列升序，b列降序（-）
注意：data.table中以“set”为前缀的功能函数以及操作符“:=”行使功能时，在内存中不创建副本，因此 setDT(df) 比 df <- as.data.table(df)更高效。
6.2 去重
unique(dt, by = c("a", "b")) -- 依次去重a， b列
uniqueN(dt, by = c("a", "b")) -- 计数去重后的行数
6.3 修改列名
setnames(dt, c("a","b"), c("x", "y"))
6.4 设置键（SET KEYS）
setkey(dt, a, b) -- 设置键是为快速重复查找特殊列用dt[.(value), ]，或者是为了合并列用dt_a[dt_b]
七. 合并 data.tables
7.1 按列合并
dt_a[dt_b,on = .(b = y)] -- 用于两个data.table有相同列的合并，如dt_a的b列与dt_b的y列相同
dt_a[dt_b,on = .(b = y, c > z)] -- 上式的扩展，不仅用于相同列，更用于带有条件的合并，如不仅满足dt_a的b列与dt_b的y列相同，而且要满足dt_a的c列大于dt_b的z列
7.2 滚动合并
dt_a[dt_b, on = .(id = id, date = date), roll = TRUE] -- 不仅按id，data进行匹配，同时保持向最近一行进行匹配
7.3 全合并
rbind(dt_a, dt_b) -- 行合并
cbind(dt_a, dt_b) -- 列合并
八. 重构data.table（与reshape2包相似）
长数据 变 宽数据
dcast(dt, id ~ y, value.var= c("a", "b"))
宽数据 变 长数据
melt(dt,
id.vars= c("id"),
measure.vars= patterns("^a", "^b"),
variable.name = "y",
value.name = c("a", "b"))
九. 应用Apply 函数
dt[, lapply(.SD, mean), .SDcols = c("a", "b")] ---
e.g. mean(), as.character(),
which.max()。
cols <-c("a")
dt[, paste0(cols, "_m") := lapply(.SD, mean),
.SDcols = cols] --- 重命名运算后的列
十. 对连续行计数
dt[, c := 1:.N, by = b] -- 分组后，计数行数，即计算每组有多少行
dt[, c := shift(a, 1), by = b]
十一. 读取和写入文件
fread("file.csv")
fread("file.csv", select = c("a", "b")) 这个函数很强大，除了读文件以外，可以直接读网址
fwrite(dt, "file.csv") 写入文件