什么是最有效的方法来总和名称以模式开始的所有列？ [英] What is the most efficient way to sum all columns whose name starts with a pattern?
问题描述
我的目标是将以 data.table 中的前缀 skill _ 开头的列中的所有值求和。我更喜欢使用 data.table 的解决方案，但我不挑剔。
我的解决方案到现在： / p>
> require（data.table）
> DT
> DT [，count_skills：=
sapply（1：nrow（DT），
function（id）sum（DT [row_idx == id，
grepl（skill_ ），with = FALSE]））]
> DT
x skill_a skill_b skill_c row_idx count_skills
1：1 0 0 0 1 0
2：2 1 1 1 2 3
3：3 0 1 1 3 2
4：4 0 0 1 4 1
但是当DT非常大时，这会变得很慢。有没有更有效的方法来做到这一点？
关于效率和性能的问题总是 应该有基准...
您的数据大小很重要，因为增长率有巨大的差异...
摘录100万行的基准测试... My goal is to sum all values in columns that start with the prefix My solution up to now: But this becomes very slow when DT is very large. Is there a more efficient way to do this? A question about efficiency and performance always deserves benchmarks... The size of your data is important as growth rate makes a huge difference...
Relative Benchmark Timings between 2^4 and 2^24. Excerpt of benchmarks at 1 million rows...
这篇关于什么是最有效的方法来总和名称以模式开始的所有列？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
2 ^ 4和2 ^ 24之间的相对基准时间。
floor（2 ^ logb（10 ^（seq（4，24，.5）），10）） $ b
##单位：毫秒
## expr min lq median uq max neval
## dplyr.sol（DT）21.803 50.260 51.765 52.45 73.30 100
## rowSums.sol（DT）20.759 50.224 51.418 52.56 96.28 100
## SDCols.sol（DT）7.250 8.916 37.699 38.50 52.69 100
## eval.sol（DT）6.883 7.007 7.916 9.45 50.91 100
eval.sol 是一个利用data.table处理表达式的答案， / p>
library（编译器）
library（data.table）
suppressMessages（library（dplyr））
library（microbenchmark）
buildDT< - function（reps）{
data.table（x = seq_len（reps * 4），
skill_a = rep 0,1,0,0），reps），
skill_b = rep（c（0,1,1,0），reps），
skill_c = rep（c 1），reps））
}
OP.sol < - function（DT）{
DT [，row_idx：= 1：nrow（DT）]
DT [，count_skills：=
sapply（1：nrow（DT），
function（id）sum（DT [row_idx == id，
grepl（skill_ ）），with = FALSE]））]
}
dplyr.sol < - function（DT）
DT％。％select（starts_with（skill_）） ％。％rowSums（）
SDCols.sol< - function（DT）
DT [，Reduce（`+`，.SD），
.SDcols = grep DT（技能_，名称（DT），值= T）]
rowSums.sol < ）），with = FALSE]）
eval.sol< - function（DT）{
cmd< - parse（text = paste（colnames（DT） （1）
identical（OP.sol（DT）$ count_skills，dplyr.sol（DT））
## [1] TRUE
identical DT）$ count_skills，rowSums.sol（DT））
## [1] TRUE
identical（OP.sol（DT）$ count_skills，SDCols.sol ））
## [1] TRUE
identical（OP.sol（DT）$ count_skills，eval.sol（DT））
## [1] TRUE
DT< -buildDT（2500）
nrow（DT）
## [1] 10000
$ b b微基准（＃OP.sol（DT），忘记这个方法。
dplyr.sol（DT），
rowSums.sol（DT），
SDCols.sol（DT），
eval.sol（DT），
times = 100）
##单位：微秒
## expr min lq median uq max neval
## dplyr.sol（DT）760.1 809.0 848.2 951.5 2276 100
## rowSums.sol（DT）580.5 605.3 627.6 745.7 28481 100
## SDCols.sol（DT）559.8 610.5 638.8 694.0 2016 100
## eval.sol（DT）636.4 677.7 692.4 740.5 2021 100
DT< -buildDT（25000）
nrow（DT）
## [1] 100000
microbenchmark sol（DT），忘记这个方法
dplyr.sol（DT），
rowSums.sol（DT），
SDCols.sol（DT），
eval.sol DT），
times = 100）
##单位：毫秒
## expr min lq median uq max neval
## dplyr.sol（DT）2.668 3.744 4.045 4.573 33.87 100
## rowSums.sol（DT）2.455 3.339 3.756 4.235 34.19 100
## SDCols.sol（DT）1.253 1.401 2.179 2.392 31.72 100
## eval.sol （DT）1.294 1.427 2.116 2.484 32.02 100
DT <-buildDT（250000）
nrow（DT）
## [1] 1000000
microbenchmark（＃OP.sol（DT），忘记这个方法。
dplyr.sol（DT），
rowSums.sol（DT），
SDCols.sol（DT），
eval.sol（DT），
times = 100）
##单位：毫秒
## expr min lq median uq max neval
## dplyr.sol（DT）21.803 50.260 51.765 52.45 73.30 100
## rowSums.sol（DT）20.759 50.224 51.418 52.56 96.28 100
## SDCols.sol（DT）7.250 8.916 37.699 38.50 52.69 100
## eval.sol（DT）6.883 7.007 7.916 9.45 50.91 100
identical（dplyr.sol（DT），rowSums.sol（DT））
## [1] TRUE
identical sol（DT），SDCols.sol（DT））
## [1] TRUE
identical（dplyr.sol
## [1] TRUE
skill_ in a data.table. I would prefer a solution using data.table but I am not picky.> require(data.table)
> DT <- data.table(x=1:4, skill_a=c(0,1,0,0), skill_b=c(0,1,1,0), skill_c=c(0,1,1,1))
> DT[, row_idx := 1:nrow(DT)]
> DT[, count_skills :=
sapply(1:nrow(DT),
function(id) sum(DT[row_idx == id,
grepl("skill_", names(DT)), with=FALSE]))]
> DT
x skill_a skill_b skill_c row_idx count_skills
1: 1 0 0 0 1 0
2: 2 1 1 1 2 3
3: 3 0 1 1 3 2
4: 4 0 0 1 4 1
Sizes along floor( 2^logb(10^( seq( 4, 24, .5 ) ), 10 ) )## Unit: milliseconds
## expr min lq median uq max neval
## dplyr.sol(DT) 21.803 50.260 51.765 52.45 73.30 100
## rowSums.sol(DT) 20.759 50.224 51.418 52.56 96.28 100
## SDCols.sol(DT) 7.250 8.916 37.699 38.50 52.69 100
## eval.sol(DT) 6.883 7.007 7.916 9.45 50.91 100
eval.sol is an answer that takes advantage of data.table's handling of expressions, in the below source...library(compiler)
library(data.table)
suppressMessages(library(dplyr))
library(microbenchmark)
buildDT <- function(reps) {
data.table(x=seq_len(reps*4),
skill_a=rep(c(0,1,0,0),reps),
skill_b=rep(c(0,1,1,0),reps),
skill_c=rep(c(0,1,1,1),reps))
}
OP.sol <- function(DT) {
DT[, row_idx := 1:nrow(DT)]
DT[, count_skills :=
sapply(1:nrow(DT),
function(id) sum(DT[row_idx == id,
grepl("skill_", names(DT)), with=FALSE]))]
}
dplyr.sol <- function(DT)
DT %.% select(starts_with("skill_")) %.% rowSums()
SDCols.sol <- function(DT)
DT[, Reduce(`+`, .SD),
.SDcols = grep("skill_", names(DT), value = T)]
rowSums.sol <- function(DT)
rowSums(DT[,grep("skill_", names(DT)),with=FALSE])
eval.sol <- function(DT) {
cmd <- parse(text=paste(colnames(DT)[grepl("^skill_", colnames(DT))],collapse='+') )
DT[,eval(cmd)]
}
DT <- buildDT(1)
identical(OP.sol(DT)$count_skills, dplyr.sol(DT))
## [1] TRUE
identical(OP.sol(DT)$count_skills, rowSums.sol(DT))
## [1] TRUE
identical(OP.sol(DT)$count_skills, SDCols.sol(DT))
## [1] TRUE
identical(OP.sol(DT)$count_skills, eval.sol(DT))
## [1] TRUE
DT<-buildDT(2500)
nrow(DT)
## [1] 10000
microbenchmark( # OP.sol(DT), forget this method.
dplyr.sol(DT),
rowSums.sol(DT),
SDCols.sol(DT),
eval.sol(DT),
times=100)
## Unit: microseconds
## expr min lq median uq max neval
## dplyr.sol(DT) 760.1 809.0 848.2 951.5 2276 100
## rowSums.sol(DT) 580.5 605.3 627.6 745.7 28481 100
## SDCols.sol(DT) 559.8 610.5 638.8 694.0 2016 100
## eval.sol(DT) 636.4 677.7 692.4 740.5 2021 100
DT<-buildDT(25000)
nrow(DT)
## [1] 100000
microbenchmark( # OP.sol(DT), forget this method.
dplyr.sol(DT),
rowSums.sol(DT),
SDCols.sol(DT),
eval.sol(DT),
times=100)
## Unit: milliseconds
## expr min lq median uq max neval
## dplyr.sol(DT) 2.668 3.744 4.045 4.573 33.87 100
## rowSums.sol(DT) 2.455 3.339 3.756 4.235 34.19 100
## SDCols.sol(DT) 1.253 1.401 2.179 2.392 31.72 100
## eval.sol(DT) 1.294 1.427 2.116 2.484 32.02 100
DT<-buildDT(250000)
nrow(DT)
## [1] 1000000
microbenchmark( # OP.sol(DT), forget this method.
dplyr.sol(DT),
rowSums.sol(DT),
SDCols.sol(DT),
eval.sol(DT),
times=100)
## Unit: milliseconds
## expr min lq median uq max neval
## dplyr.sol(DT) 21.803 50.260 51.765 52.45 73.30 100
## rowSums.sol(DT) 20.759 50.224 51.418 52.56 96.28 100
## SDCols.sol(DT) 7.250 8.916 37.699 38.50 52.69 100
## eval.sol(DT) 6.883 7.007 7.916 9.45 50.91 100
identical(dplyr.sol(DT), rowSums.sol(DT))
## [1] TRUE
identical(dplyr.sol(DT), SDCols.sol(DT))
## [1] TRUE
identical(dplyr.sol(DT), eval.sol(DT))
## [1] TRUE
