doparallel相关内容
这篇文章的另一个潜在标题可能是R中的并行处理,核心数、循环块大小和对象大小之间的比率重要吗?"; 我有一个语料库,我正在使用tm包运行一些转换。由于语料库很大,我使用的是多并行程序包的并行处理。 有时转换会执行任务,但有时不会。例如,tm::removeNumbers()。语料库中的第一个文档的内容值为&n417";。因此,如果预处理成功,则此文档将转换为仅&q;n&q
..
doParallel 和 doMC 在 R 中的 foreach 函数有什么区别?doParallel 支持 windows,unix-like,而 doMC 只支持 unix-like.换句话说,为什么doParallel不能直接替代doMC?谢谢. 更新:doParallel 建立在 parallel 之上,本质上是 multicore 和 snow 的合并,并自动使用适当的工具你的系统
..
我在使用 foreach 时遇到了一个我无法解决的问题.以下代码在我尝试过的两台 Windows 计算机上失败,但在三台运行相同版本的 R 和 doParallel 的 Linux 计算机上成功: library("doParallel")registerDoParallel(cl=2,cores=2)f
..
编辑:减小数据集的大小 示例数据: df df 包含 10 个地点 1980-2015 年的每日数据(80 天).对于每个位置 X 年组合,我想做以下计算 list.result
..
我有一个包含两个邮政编码和相应纬度和经度的大型数据集(260 万行),我正在尝试计算它们之间的距离.我主要使用包 geosphere 来计算邮政编码之间的 Vincenty Ellipsoid 距离,但是我的数据集花费了大量时间.有什么可以快速实现的方法? 我的尝试 图书馆(tidyverse)图书馆(地圈)zipdata
..
您能否提供一个脚本,以便在 Ubuntu Linux 机器上从头开始在 2 台主机(amazon ec2)上运行并行集群? 规格 主机通过名为 amazon_key.pem 的身份密钥从本地计算机连接 主机名应该通过亚马逊云提供的内部 IP 地址连接 在设置云时将主机名保留为 rserver1 和 rserver2 解决方案 所有这些命令都是从本地系统运行的.这是以这样一种
..
我正在尝试运行具有特定空间相关结构的 gls 模型,该结构来自修改 nlme 包/从此 post(这篇文章的答案创建了允许实现相关性的新函数结构体).不幸的是,当我通过 foreach 循环运行它时,我无法让这个空间相关结构起作用: #setup 示例数据数据(“mtcars")mtcars$lon = runif(nrow(mtcars)) #include lon 和 lat 用于新的相关结
..
我已经看到有很多关于这个主题的问题,但似乎没有一个对我的问题给出令人满意的答案.我打算在 Windows 机器上将 caret::train() 与库 doParallel 结合使用.文档(插入符号包:9 Parallel Processing)告诉我它会如果找到已注册的集群,则默认并行运行(尽管它使用库 doMC).当我尝试使用 doParallel 设置集群并按照其文档 (doParallel
..
我需要对张量执行一些操作,我想让它并行.考虑以下示例: # 第一部分没有 doParallel编号 = 8192米 = 128F = 64ma
..
我正在尝试在 R 中进行并行处理,我想做的并行任务是调用 python 脚本.但是它不起作用并且无法将结果从 python 取回 R.下面是示例 R 闪亮和 Python 代码.应用程序 图书馆(闪亮)图书馆(网状)库(doParallel)图书馆(foreach)ui Python 代码 (multip.py) def fsq(x):返回 x**2 解决方案 错误信息与shiny无关
..
任何人都知道如何在以下代码中获得所有不同的随机数吗?例如.与 doRNG 包一起使用?我不在乎可重复性. 编辑:纯属偶然的副本被接受. rm(list = ls())set.seed(666)猫("\ 014")图书馆(plyr)图书馆(dplyr)库(doRNG)#======数据准备======dt = data.frame(id = 1:10,部分= rep("dt",10),HG
..
我在将数据帧导出到foreach包中的%dopar%时遇到问题.如果我将%do%与 registerDoSEQ()一起使用,它会起作用,但是与 registerDoParallel()一起使用,我总会得到: {> {中的错误:任务1失败-“未找到对象'驼背'" 以下是可重复使用的示例,该示例使用了来自 rpart 包中的 kyphosis 数据.我正在尝试逐步逐步回归: 库(doPara
..
我想知道通过 makePSOCKcluster 和显式地在foreach循环中设置R使用的内核数之间有什么区别?我应该在两个实例中分别进行设置,还是在使 makePSOCKcluster 足够时进行设置? cl
..
我正在尝试使用doParallel后端在并行的foreach循环中使用标准R闪亮进度条.但是,这会导致以下错误消息: 警告:{:任务1中的错误失败-““会话"不是ShinySession对象." 代码(最小工作示例) 库(发光)图书馆(doParallel)ui
..
我想做什么: 我正在尝试在给定的时间范围内(以月和年为单位)构建动画线图.因为我有很多条目,所以我想通过并行处理来提高速度.我使用了我的一个老问题(如何使用动画ggplot2-plot作为模板来管理并行处理?),并希望从那里进行构建. 我还看了这篇文章看看如何通过单核处理为线图设置动画. 问题: 不幸的是,我无法弄清楚在何处以及如何正确过滤数据(例如filter(x, da
..
我使用foreach和doParallel进行了仿真,并使用随机数(在代码中命名为random)进行挣扎. 简而言之:我模拟了一个足球联赛,随机产生了所有比赛和相应结果的获胜者.在dt_base中没有比赛,在dt_ex1和dt_ex2中已经知道4场比赛的结果.所有未知的结果都应进行模拟. 在这篇文章底部的《联盟模拟代码》中,我设置了1000个模拟,分为100个块(forloop用于将数据发
..
我是不熟悉使用foreach()%dopar%进行并行处理的新手,我对它如何处理错误或警告有一些疑问。 当我将try()与foreach()%dopar%中的自定义错误消息一起使用时,“本地”错误消息没有显示: test
..
我正在尝试优化代码以多次运行glms,并且我想利用 foreach 或其他更有效的方式来利用并行化。 您可以看到; for 循环大约需要800秒才能运行270000个glms;而 foreach 和 dopar 却会永远消失(它崩溃了,或者我强迫它在几个小时后停止) 。 感谢您的帮助。 Jinesh 库(data.table) 库(并行) 库(doParallel) 库(f
..
现在,我正在处理R中的一些大型矩阵,我需要能够使用对角线带重新组合它们.由于编程原因(为避免对大小为n的矩阵进行n * n次操作(数百万次计算),我只想进行2n次计算(数千次计算),因此选择在函数的对角带上运行函数现在,我有了结果,但是需要获取这些矩阵切片,并以允许我使用多个处理器的方式组装它们. foreach和mclapply都不允许我在循环之外修改对象,因此我试图考虑一种并行解决方案.
..
在Linux计算机上,遵循 doParallel 的小插图,我使用doParallel::registerDoParallel(),然后使用options(cores = N),其中N是要与foreach一起使用的内核数. 我可以用foreach::getDoParWorkers()验证,当我更改选项cores时,它会自动更改foreach使用的内核数. 但是,在Windows 10(
..