doparallel相关内容

使用多核时tm_map变换函数的行为不一致

这篇文章的另一个潜在标题可能是R中的并行处理,核心数、循环块大小和对象大小之间的比率重要吗?"; 我有一个语料库,我正在使用tm包运行一些转换。由于语料库很大,我使用的是多并行程序包的并行处理。 有时转换会执行任务,但有时不会。例如,tm::removeNumbers()。语料库中的第一个文档的内容值为&n417";。因此,如果预处理成功,则此文档将转换为仅&q;n&q ..
发布时间:2022-08-28 20:35:02 其他开发

R中doMC和doParallel的区别

doParallel 和 doMC 在 R 中的 foreach 函数有什么区别?doParallel 支持 windows,unix-like,而 doMC 只支持 unix-like.换句话说,为什么doParallel不能直接替代doMC?谢谢. 更新:doParallel 建立在 parallel 之上,本质上是 multicore 和 snow 的合并,并自动使用适当的工具你的系统 ..
发布时间:2021-12-30 21:25:37 其他开发

如何使用doParallel计算R中邮政编码之间的距离?

我有一个包含两个邮政编码和相应纬度和经度的大型数据集(260 万行),我正在尝试计算它们之间的距离.我主要使用包 geosphere 来计算邮政编码之间的 Vincenty Ellipsoid 距离,但是我的数据集花费了大量时间.有什么可以快速实现的方法? 我的尝试 图书馆(tidyverse)图书馆(地圈)zipdata ..
发布时间:2021-09-07 19:39:47 其他开发

在多台主机上运行并行 R

您能否提供一个脚本,以便在 Ubuntu Linux 机器上从头开始在 2 台主机(amazon ec2)上运行并行集群? 规格 主机通过名为 amazon_key.pem 的身份密钥从本地计算机连接 主机名应该通过亚马逊云提供的内部 IP 地址连接 在设置云时将主机名保留为 rserver1 和 rserver2 解决方案 所有这些命令都是从本地系统运行的.这是以这样一种 ..
发布时间:2021-07-07 19:11:45 其他开发

如何将自定义函数加载到 R 中的 foreach 循环中?

我正在尝试运行具有特定空间相关结构的 gls 模型,该结构来自修改 nlme 包/从此 post(这篇文章的答案创建了允许实现相关性的新函数结构体).不幸的是,当我通过 foreach 循环运行它时,我无法让这个空间相关结构起作用: #setup 示例数据数据(“mtcars")mtcars$lon = runif(nrow(mtcars)) #include lon 和 lat 用于新的相关结 ..
发布时间:2021-07-07 18:55:09 其他开发

通过 doParallel 在并行集群上插入符号训练二进制 glm 失败

我已经看到有很多关于这个主题的问题,但似乎没有一个对我的问题给出令人满意的答案.我打算在 Windows 机器上将 caret::train() 与库 doParallel 结合使用.文档(插入符号包:9 Parallel Processing)告诉我它会如果找到已注册的集群,则默认并行运行(尽管它使用库 doMC).当我尝试使用 doParallel 设置集群并按照其文档 (doParallel ..
发布时间:2021-07-03 18:36:26 其他开发

R 中的并行处理,调用 Python 脚本

我正在尝试在 R 中进行并行处理,我想做的并行任务是调用 python 脚本.但是它不起作用并且无法将结果从 python 取回 R.下面是示例 R 闪亮和 Python 代码.应用程序 图书馆(闪亮)图书馆(网状)库(doParallel)图书馆(foreach)ui Python 代码 (multip.py) def fsq(x):返回 x**2 解决方案 错误信息与shiny无关 ..
发布时间:2021-06-14 18:54:25 Python

在foreach中导出变量

我在将数据帧导出到foreach包中的%dopar%时遇到问题.如果我将%do%与 registerDoSEQ()一起使用,它会起作用,但是与 registerDoParallel()一起使用,我总会得到: {> {中的错误:任务1失败-“未找到对象'驼背'" 以下是可重复使用的示例,该示例使用了来自 rpart 包中的 kyphosis 数据.我正在尝试逐步逐步回归: 库(doPara ..
发布时间:2021-05-08 20:59:46 其他开发

具有并行处理的动画线图

我想做什么: 我正在尝试在给定的时间范围内(以月和年为单位)构建动画线图.因为我有很多条目,所以我想通过并行处理来提高速度.我使用了我的一个老问题(如何使用动画ggplot2-plot作为模板来管理并行处理?),并希望从那里进行构建. 我还看了这篇文章看看如何通过单核处理为线图设置动画. 问题: 不幸的是,我无法弄清楚在何处以及如何正确过滤数据(例如filter(x, da ..
发布时间:2020-11-14 02:11:26 其他开发

一段R代码会影响foreach输出中的随机数吗?

我使用foreach和doParallel进行了仿真,并使用随机数(在代码中命名为random)进行挣扎. 简而言之:我模拟了一个足球联赛,随机产生了所有比赛和相应结果的获胜者.在dt_base中没有比赛,在dt_ex1和dt_ex2中已经知道4场比赛的结果.所有未知的结果都应进行模拟. 在这篇文章底部的《联盟模拟代码》中,我设置了1000个模拟,分为100个块(forloop用于将数据发 ..
发布时间:2020-11-09 22:00:49 其他开发

Dopar中代码的流程优化

我正在尝试优化代码以多次运行glms,并且我想利用 foreach 或其他更有效的方式来利用并行化。 您可以看到; for 循环大约需要800秒才能运行270000个glms;而 foreach 和 dopar 却会永远消失(它崩溃了,或者我强迫它在几个小时后停止) 。 感谢您的帮助。 Jinesh 库(data.table) 库(并行) 库(doParallel) 库(f ..
发布时间:2020-10-15 21:11:50 其他开发

使用mclapply或%dopar%从对角切片组装矩阵,例如Matrix :: bandSparse

现在,我正在处理R中的一些大型矩阵,我需要能够使用对角线带重新组合它们.由于编程原因(为避免对大小为n的矩阵进行n * n次操作(数百万次计算),我只想进行2n次计算(数千次计算),因此选择在函数的对角带上运行函数现在,我有了结果,但是需要获取这些矩阵切片,并以允许我使用多个处理器的方式组装它们. foreach和mclapply都不允许我在循环之外修改对象,因此我试图考虑一种并行解决方案. ..
发布时间:2020-07-21 20:13:05 其他开发