snow相关内容

检查远程错误时出错(VAL):5个节点生成错误:找不到对象

我正在尝试进行10次交叉验证,并通过使用并行处理(ParLApply)来评估联合模型的模型性能。我正在尝试找出我收到错误消息的原因: “检查ForRemoteErrors(Val)时出错:五个节点产生错误:找不到对象‘Week’” 代码如下: # Validation using 10-fold CV library("parallel") set.seed(123) ..
发布时间:2022-04-17 12:32:13 其他开发

调用序列化 R 函数时出错

我正在将以下包加载到 R 中: 库(foreach)库(doParallel)库(迭代器) 我长时间“并行化"代码,但最近我在代码运行时出现间歇性停止.错误是: 序列化错误(数据,节点$con):写入连接时出错 我的猜测是,我使用以下命令打开的连接可能已过期: ##注册集群##核心 查看 makeCluster 手册页,我看到默认情况下连接仅在 30 天后过期!我可以设置 option ..
发布时间:2021-12-30 21:27:52 其他开发

Windows 集群上的并行 R

我有一个 Windows HPC 服务器,在后端运行一些节点.我想使用后端的多个节点运行 Parallel R.我认为 Parallel R 可能在 Windows 上使用 SNOW,但不太确定.我的问题是,我是否还需要在后端节点上安装 R?假设我想使用两个节点,每个节点 32 个核心: cl 现在,它只是挂起. 我还需要做什么?后端节点是否需要运行某种 sshd 才能相互通信? ..
发布时间:2021-12-30 21:24:48 其他开发

R 雪中的 makeCluster 函数无限期挂起

我正在使用 Linux 机器上 R 包 snow 中的 makeCluster 函数在远程 Linux 机器上启动 SOCK 集群.两台机器成功通信的一切似乎都已解决(我能够在两者之间建立 ssh 连接).但是: makeCluster("192.168.128.24",type="SOCK") 不抛出任何结果,只是无限期挂起. 我做错了什么? 非常感谢 解决方案 很遗憾, ..
发布时间:2021-12-30 21:22:55 其他开发

通过雪在并行代码中使用 Rcpp 来创建集群

我用 Rcpp 编写了一个函数,并用 inline 编译它.现在,我想在不同的内核上并行运行它,但是我遇到了一个奇怪的错误.这是一个最小的例子,函数funCPP1可以自己编译运行,但是不能被snow的clusterCall函数调用.该函数作为单个进程运行良好,但并行运行时出现以下错误: checkForRemoteErrors(lapply(cl, recvResult)) 中的错误:2个节点 ..
发布时间:2021-06-30 19:53:57 其他开发

如何设置群集从属节点(在Windows上)

我需要在所有Windows的15台机器(每个4核)上运行数千个模型。我开始学习 parallel , snow 和 snowfall 软件包和阅读了一堆介绍,但是他们主要关注母版的设置。 关于如何在Windows上设置工作节点(从节点)的信息很少。信息通常是矛盾的: 有人说SOCK集群实际上是最简单的解决方法,其他人则认为在Windows上,SOCK群集设置非常复杂(sshd设置),最好的方法是M ..
发布时间:2020-10-03 02:24:18 其他开发

避免R循环并与雪并行化

我有一个大循环,它将花费很长时间(〜100天).我希望通过snow库来加快它的速度,但是我对apply语句并不满意.这只是循环的一部分,但是如果我能弄清楚这部分,其余部分应该很简单.我可以使用一堆apply语句或循环,但是一个使用函数获取对象"p"的apply语句将是理想的. 原始数据 dim(m1) == x x # x >>> 0 dim(m2) == y x ..
发布时间:2020-09-06 05:49:39 其他开发

随机森林引导训练和森林生成

我有大量关于随机森林的训练数据(昏暗:47600811 * 9).我想获取尺寸为10000 * 9的多个(假设有1000个)自举示例(每次运行均获取9000个负类和1000个正类数据点),并为所有这些迭代生成树,然后将所有这些树合并为1个森林. 下面给出了所需代码的粗略概念.有人可以指导我如何从实际的trainData中生成替换后的随机样本,并为它们迭代地优化生成树吗?这将是极大的帮助.谢谢 ..
发布时间:2020-05-24 21:52:21 其他开发

R:在doParallel中建立群集/降雪挂起

我在局域网上有两台服务器,新安装了Centos 6.4 minimum和R 3.0.1.两台计算机都安装了doParallel,snow和snowfall软件包. 服务器可以相互ssh罚款. 当我尝试在任一方向上建立集群时,都会提示您输入密码,但是输入密码后,它会无限次地挂在那里. makePSOCKcluster("192.168.1.1",user="username") ..
发布时间:2020-05-24 21:16:19 其他开发

工人结果未正确返回-下雪-调试

我正在使用R中的snow包在具有运行Linux OS的多台计算机(3)的SOCK集群上执行功能.我尝试同时使用parLapply和clusterApply运行代码. 在工作程序级别发生任何错误的情况下,工作程序节点的结果未正确返回给主服务器,这使得调试非常困难.我目前正在使用futile.logger独立记录工作者节点的每个心跳.似乎结果得到了正确的计算.但是,当我尝试在主节点上打印结果时( ..
发布时间:2020-05-24 21:12:37 其他开发

R snow中的makeCluster函数无限期挂起

我正在使用Linux机器上R包snow中的makeCluster函数在远程Linux机器上启动SOCK群集.似乎所有人都为两台机器成功通信做好了准备(我能够建立两者之间的ssh连接).但是: makeCluster("192.168.128.24",type="SOCK") 不抛出任何结果,只是无限期地挂起. 我做错了什么? 非常感谢 解决方案 不幸的是,创建雪(或并 ..
发布时间:2020-05-24 21:04:59 其他开发

调用序列化R函数时出错

我正在将以下软件包加载到R中: library(foreach) library(doParallel) library(iterators) 我很长时间以来一直在“并行化"代码,但是最近我在运行代码时遇到了INTERMITTENT停止的问题.错误是: Error in serialize(data, node$con) : error writing to connection ..
发布时间:2020-05-24 20:54:41 其他开发

Windows群集上的Parallel R

我有一个Windows HPC Server,它的后端运行着一些节点.我想使用后端的多个节点来运行ParallelR.我认为Parallel R可能在Windows上使用SNOW,但不太确定.我的问题是,是否还需要在后端节点上安装R? 假设我要使用两个节点,每个节点32个核心: cl ..
发布时间:2020-05-24 20:54:14 其他开发

将多核与Snow Cluster相结合

Parallel R的全新产品.快速提问.我有一个计算量大的算法.幸运的是,可以使用multicore或snow轻松地将其分解成碎片.我想知道的是,在实践中将multicore与snow结合使用是否可行? 我想做的是分散负载,以便在群集中的多台计算机上运行,​​并在每台计算机上运行.我想利用机器上的所有内核.对于这种类型的处理,将雪与multicore混合是否合理? 解决方案 我使用 ..
发布时间:2020-05-13 02:25:47 其他开发

使用Rmpi初始化MPI集群

最近,我尝试利用部门群集在R中进行并行计算.群集系统由SGE进行管理. OpenMPI已安装并通过了安装测试. 我通过qsub命令将查询提交到集群.在脚本中,我通过以下命令指定要使用的节点数. #PBS -l nodes=2:ppn=24 (two nodes with 24 threads each) 然后,mpirun -np 1 R --slave -f test.R 之后,我已 ..
发布时间:2020-05-12 20:00:59 其他开发

在"SOCK","PVM","MPI"和"NWS"之间的区别在于"SOCK","PVM","MPI"和"NWS"之间的区别.用于R SNOW包

SNOW软件包的makeCluster函数具有不同的群集类型"SOCK","PVM","MPI"和"NWS",但是我不太清楚它们之间的差异,更具体地讲,这对我的程序来说是最好的. 目前,我有不同长度的任务队列通过clusterApplyLB进入负载平衡群集,并且正在使用64位32核Windows机器. 我正在寻找对四种群集类型之间差异的简要描述,这将最适合我的用途以及原因. 解决 ..
发布时间:2020-05-03 03:19:13 其他开发

R + Snow + Fortran + MPI崩溃

这是我的上一个问题。 我创建了一个使用MPI Fortran模块的R包。这是模块: 模块Fortranpi USE MPI IMPLICIT NONE 包含 子程序dboard(飞镖,dartsscore) 整数,意图(in)::飞镖 双精度,意图(out):: dartsscore 双精度:: x_coord,y_coord 整数::分数,n 分数= 0 做n ..
发布时间:2018-03-16 17:31:27 其他开发