snow相关内容
我正在尝试进行10次交叉验证,并通过使用并行处理(ParLApply)来评估联合模型的模型性能。我正在尝试找出我收到错误消息的原因: “检查ForRemoteErrors(Val)时出错:五个节点产生错误:找不到对象‘Week’” 代码如下: # Validation using 10-fold CV library("parallel") set.seed(123)
..
我正在将以下包加载到 R 中: 库(foreach)库(doParallel)库(迭代器) 我长时间“并行化"代码,但最近我在代码运行时出现间歇性停止.错误是: 序列化错误(数据,节点$con):写入连接时出错 我的猜测是,我使用以下命令打开的连接可能已过期: ##注册集群##核心 查看 makeCluster 手册页,我看到默认情况下连接仅在 30 天后过期!我可以设置 option
..
我有一个 Windows HPC 服务器,在后端运行一些节点.我想使用后端的多个节点运行 Parallel R.我认为 Parallel R 可能在 Windows 上使用 SNOW,但不太确定.我的问题是,我是否还需要在后端节点上安装 R?假设我想使用两个节点,每个节点 32 个核心: cl 现在,它只是挂起. 我还需要做什么?后端节点是否需要运行某种 sshd 才能相互通信?
..
我正在使用 Linux 机器上 R 包 snow 中的 makeCluster 函数在远程 Linux 机器上启动 SOCK 集群.两台机器成功通信的一切似乎都已解决(我能够在两者之间建立 ssh 连接).但是: makeCluster("192.168.128.24",type="SOCK") 不抛出任何结果,只是无限期挂起. 我做错了什么? 非常感谢 解决方案 很遗憾,
..
我正在尝试在 4 个节点上并行化代码(type = "SOCK").这是我的代码. 库(itertools)图书馆(foreach)库(doParallel)图书馆(平行)工人
..
我用 Rcpp 编写了一个函数,并用 inline 编译它.现在,我想在不同的内核上并行运行它,但是我遇到了一个奇怪的错误.这是一个最小的例子,函数funCPP1可以自己编译运行,但是不能被snow的clusterCall函数调用.该函数作为单个进程运行良好,但并行运行时出现以下错误: checkForRemoteErrors(lapply(cl, recvResult)) 中的错误:2个节点
..
我需要在所有Windows的15台机器(每个4核)上运行数千个模型。我开始学习 parallel , snow 和 snowfall 软件包和阅读了一堆介绍,但是他们主要关注母版的设置。 关于如何在Windows上设置工作节点(从节点)的信息很少。信息通常是矛盾的: 有人说SOCK集群实际上是最简单的解决方法,其他人则认为在Windows上,SOCK群集设置非常复杂(sshd设置),最好的方法是M
..
我有一个大循环,它将花费很长时间(〜100天).我希望通过snow库来加快它的速度,但是我对apply语句并不满意.这只是循环的一部分,但是如果我能弄清楚这部分,其余部分应该很简单.我可以使用一堆apply语句或循环,但是一个使用函数获取对象"p"的apply语句将是理想的. 原始数据 dim(m1) == x x # x >>> 0 dim(m2) == y x
..
我有大量关于随机森林的训练数据(昏暗:47600811 * 9).我想获取尺寸为10000 * 9的多个(假设有1000个)自举示例(每次运行均获取9000个负类和1000个正类数据点),并为所有这些迭代生成树,然后将所有这些树合并为1个森林. 下面给出了所需代码的粗略概念.有人可以指导我如何从实际的trainData中生成替换后的随机样本,并为它们迭代地优化生成树吗?这将是极大的帮助.谢谢
..
我正在尝试并行化此例子. 我要在一年中的一周内汇总一堆栅格.这是系列的样子: # create a raster stack from list of GeoTiffs tifs
..
我在局域网上有两台服务器,新安装了Centos 6.4 minimum和R 3.0.1.两台计算机都安装了doParallel,snow和snowfall软件包. 服务器可以相互ssh罚款. 当我尝试在任一方向上建立集群时,都会提示您输入密码,但是输入密码后,它会无限次地挂在那里. makePSOCKcluster("192.168.1.1",user="username")
..
我正在使用doSNOW软件包,更具体地说,是使用parLapply函数对大型栅格数据集(操作系统:Windows x64)列表进行重新分类(以及随后的其他操作). 代码看起来像这个简单的示例: library(raster) library(doSNOW) #create list containing test rasters x
..
我正在使用R中的snow包在具有运行Linux OS的多台计算机(3)的SOCK集群上执行功能.我尝试同时使用parLapply和clusterApply运行代码. 在工作程序级别发生任何错误的情况下,工作程序节点的结果未正确返回给主服务器,这使得调试非常困难.我目前正在使用futile.logger独立记录工作者节点的每个心跳.似乎结果得到了正确的计算.但是,当我尝试在主节点上打印结果时(
..
我正在使用Linux机器上R包snow中的makeCluster函数在远程Linux机器上启动SOCK群集.似乎所有人都为两台机器成功通信做好了准备(我能够建立两者之间的ssh连接).但是: makeCluster("192.168.128.24",type="SOCK") 不抛出任何结果,只是无限期地挂起. 我做错了什么? 非常感谢 解决方案 不幸的是,创建雪(或并
..
我正在将以下软件包加载到R中: library(foreach) library(doParallel) library(iterators) 我很长时间以来一直在“并行化"代码,但是最近我在运行代码时遇到了INTERMITTENT停止的问题.错误是: Error in serialize(data, node$con) : error writing to connection
..
我有一个Windows HPC Server,它的后端运行着一些节点.我想使用后端的多个节点来运行ParallelR.我认为Parallel R可能在Windows上使用SNOW,但不太确定.我的问题是,是否还需要在后端节点上安装R? 假设我要使用两个节点,每个节点32个核心: cl
..
Parallel R的全新产品.快速提问.我有一个计算量大的算法.幸运的是,可以使用multicore或snow轻松地将其分解成碎片.我想知道的是,在实践中将multicore与snow结合使用是否可行? 我想做的是分散负载,以便在群集中的多台计算机上运行,并在每台计算机上运行.我想利用机器上的所有内核.对于这种类型的处理,将雪与multicore混合是否合理? 解决方案 我使用
..
最近,我尝试利用部门群集在R中进行并行计算.群集系统由SGE进行管理. OpenMPI已安装并通过了安装测试. 我通过qsub命令将查询提交到集群.在脚本中,我通过以下命令指定要使用的节点数. #PBS -l nodes=2:ppn=24 (two nodes with 24 threads each) 然后,mpirun -np 1 R --slave -f test.R 之后,我已
..
SNOW软件包的makeCluster函数具有不同的群集类型"SOCK","PVM","MPI"和"NWS",但是我不太清楚它们之间的差异,更具体地讲,这对我的程序来说是最好的. 目前,我有不同长度的任务队列通过clusterApplyLB进入负载平衡群集,并且正在使用64位32核Windows机器. 我正在寻找对四种群集类型之间差异的简要描述,这将最适合我的用途以及原因. 解决
..
这是我的上一个问题。 我创建了一个使用MPI Fortran模块的R包。这是模块: 模块Fortranpi USE MPI IMPLICIT NONE 包含 子程序dboard(飞镖,dartsscore) 整数,意图(in)::飞镖 双精度,意图(out):: dartsscore 双精度:: x_coord,y_coord 整数::分数,n 分数= 0 做n
..