R和统计 1:效率提升技巧
1. 并行
话说我以为并行会提高很多的..但是和想象差距很大啊
直接算,大概3个核左右会冲到比较高的地方
并行处理,看cpu确实8核满速跑了,
听师父说是sqrt太简单,切换线程耗费了大量时间,接下来做回归应该会有较大改进。
然后我看了下那个rbind,超费时间啊,要不还是让python做数据处理?
2. Vector编程思想
从22秒提升到一秒,牛!
data <- read.csv("D:/VP_BAP.csv") row.index <- rep(1:dim(data)[1], dim(data)[2]) col.index <- rep(1:dim(data)[2], each = dim(data)[1]) output <- cbind(row.index, col.index)[as.vector(data == "N"), ] write.table(output,"D:/Output.txt",row.names=F,col.names=F,sep=" ")
明天到公司了好好实践下。