通过使用多核和并行编程加速 data.table 组
我的代码很大，聚合步骤是当前速度方面的瓶颈. 在我的代码中，我希望加快数据分组步骤的速度.我的数据的 SNOTE(简单的非平凡示例)如下所示: 库(data.table)a = 样本(1:10000000, 50000000, 替换 = TRUE)b = 样本(c("3m","2m2d2m","3m2d1i3s2d","5m","4m","9m","1m"), 50000000, 替换 =
..
mclapply相关内容
mclapply 随机返回 NULL
当我使用 mclapply 时，有时(非常随机)它会给出不正确的结果.该问题在 Internet 上的其他帖子中得到了非常详尽的描述，例如(http://r.789695.n4.nabble.com/Bug-in-mclapply-td4652743.html).但是，没有提供解决方案.有谁知道如何解决这个问题?谢谢！ 解决方案 您引用的 Winston Chang 报告的问题似乎已在 R
..
了解 R 中 mclapply 和 parLapply 之间的区别
我最近开始在一个项目中使用 R 中的并行技术，并使用 mclapply 来自 并行 包.但是，我对 Windows 的 parLapply 的理解遇到了障碍. 使用 mclapply 我可以设置内核数、迭代数，并将其传递给我工作区中的现有函数. mclapply(1:8, function(z) adder(z, 100), mc.cores=4) 我似乎无法在 Windows 中使用
..
tm_map 在 Mac 上的 R 3.0.1 中存在 parallel::mclapply 错误
我在平台上使用 R 3.0.1:x86_64-apple-darwin10.8.0(64 位) 我正在尝试使用 tm 库中的 tm_map.但是当我执行这段代码时 图书馆(tm)数据('粗')tm_map(粗制，stemDocument) 我收到此错误: 警告信息:并行::mclapply(x, FUN, ...) :所有预定的内核都在用户代码中遇到错误 有人知道解决方案吗?
..
R tm 在 mclapply(content(x), FUN, ...) 中:所有调度的内核都遇到了用户代码中的错误
当我将以下代码运行到倒数第二行时，我收到警告消息: 在 mclapply(content(x), FUN, ...) 中:遇到的所有调度内核用户代码错误 当我运行最后一行时，我得到了 "使用方法错误(\"words\") : \n 没有适用的方法'words' 应用于类 \"character\"\n" attr(,"class") 的对象"尝试错误" attr(,"条件")
..
为什么不在 RStudio 中打印并行作业?
为什么与 mclapply 并行化的脚本会在集群上打印，而不会在 RStudio 中打印?只是出于好奇而询问. mclapply(1:10, function(x) {打印(“你好！")返回(真)}, mc.cores = 2)# Hello 打印在 slurm 但不是 RStudio 解决方案 'parallel' 包中的任何函数都不能保证正确显示发送到标准输出 (stdout) 的输出或
..
在 R Studio 中从 mclapply 打印
我在 RStudio 中使用 mclapply 并希望从每个进程向控制台输出一个输出，但这似乎以某种方式被抑制(例如这里提到的:mclapply 是否保证按顺序返回其结果?).我怎样才能让 R Studio 打印类似的东西 x 到控制台? 我尝试过 print()、cat()、write() 但它们似乎都不起作用.我还尝试明确设置 mc.silent = FALSE 没有效果.
..
R tm 在 mclapply(content(x), FUN, ...) 中:所有已调度的内核在用户代码中都遇到错误
当我在倒数第二行运行以下代码时，我收到警告消息: 在 mclapply(content(x), FUN, ...) 中:遇到的所有调度内核用户代码错误 当我运行最后一行时，我得到了 "使用方法错误(\"words\") : \n 没有适用的方法'words' 应用于类 \"character\"\n" attr(,"class") 的对象"尝试错误" attr(,"条件")
..
有没有办法跟踪 mclapply 的进度?
我喜欢 plyr's llply 中的设置 .progress = 'text'.然而，这让我非常焦虑，不知道 mclapply(来自包 multicore)有多远，因为列表项被发送到各个核心，然后在最后进行整理. 我一直在输出诸如 *currently in sim_id # ....* 之类的消息，但这不是很有帮助，因为它没有告诉我列表项完成的百分比(虽然知道我的脚本没有卡住并继续前进是
..
如何为并行化编写高效的嵌套函数?
我有一个包含两个分组变量 class 和 group 的数据框.对于每个班级，我每个小组都有一个绘图任务.大多数情况下，我有 2 个级别 class 和 500 个级别每个 group. 我使用 parallel 包进行并行化，并使用 mclapply 函数通过 class 和 group 级别进行迭代. 我想知道哪种方法是编写迭代的最佳方式.我想我有两个选择: 为class 变
..
mclapply 调用应该嵌套吗?
嵌套 parallel::mclapply 调用是个好主意吗? require(并行)ans
..
mcapply:所有调度的内核在用户代码中遇到错误
以下是我的代码.我正在尝试获取以 .idat 结尾的所有文件(~20000)的列表，并使用 illuminaio::readIDAT 函数读取每个文件. 库(illuminaio)图书馆(并行)图书馆(数据表)# 要使用的内核数核数 = 8# 这将获取所有扩展名为 .idat 的文件 ~20000 个文件文件
..
R mclapply与foreach
我将mclapply用于所有“令人尴尬的并行"计算.我发现它干净易用，并且当参数 mc.cores = 1 和 mc.preschedule = TRUE 时，我可以插入 browser()像在常规R中一样，在 mclapply 内部的函数中进行调试，并逐行调试.这对于将代码更快地投入生产非常有用. foreach 提供了哪些 mclapply 不提供的功能?我应该考虑继续编写foreach
..
一个作业中的错误会污染mclapply
当mclapply(X, FUN)遇到某些X值的错误时，该错误会传播到X的某些(但不是全部)其他值: require(parallel) test
..
使用mclapply或％dopar％从对角切片组装矩阵，例如Matrix :: bandSparse
现在，我正在处理R中的一些大型矩阵，我需要能够使用对角线带重新组合它们.由于编程原因(为避免对大小为n的矩阵进行n * n次操作(数百万次计算)，我只想进行2n次计算(数千次计算)，因此选择在函数的对角带上运行函数现在，我有了结果，但是需要获取这些矩阵切片，并以允许我使用多个处理器的方式组装它们. foreach和mclapply都不允许我在循环之外修改对象，因此我试图考虑一种并行解决方案.
..
在foreach循环中出现mclapply的R错误
基于此处的帖子 ，我尝试编写脚本，如下所示: library(parallel) library(doParallel) cl
..
mclapply遇到错误，具体取决于核心ID?
我有一组基因，需要为它们并行计算一些系数. 在GeneTo_GeneCoeffs_filtered内部计算系数，该系数以基因名称作为输入并返回2个数据帧的列表. 具有100个长度的gene_array我以不同数量的内核(5、6和7)运行了此命令. Coeffslist=mclapply(gene_array,GeneTo_GeneCoeffs_filtered,mc.cores = n
..
在R中并行处理大栅格(Windows)
我正在使用doSNOW软件包，更具体地说，是使用parLapply函数对大型栅格数据集(操作系统:Windows x64)列表进行重新分类(以及随后的其他操作). 代码看起来像这个简单的示例: library(raster) library(doSNOW) #create list containing test rasters x
..
了解R中的mclapply和parLapply之间的区别
我最近开始在项目中使用R中的并行技术，并使用并行程序包.但是，由于对Windows的parLapply有一定的了解，因此遇到了障碍. 使用mclapply，我可以设置核心数，迭代数，并将其传递给我的工作区中的现有函数. mclapply(1:8, function(z) adder(z, 100), mc.cores=4) 我似乎无法使用parLapply在Windows中实现相同
..
mclapply随机返回NULL
当我使用mclapply时，有时(确实是随机地)会给出错误的结果.该问题在Internet上的其他帖子中已进行了相当详尽的描述，例如( http://r.789695.n4.nabble.com/Bug-in-mclapply -td4652743.html ).但是，没有提供解决方案.有谁知道如何解决这个问题?谢谢！ 解决方案 您引用的Winston Chang报告的问题似乎已在R 2.
..