snowfall相关内容

如何使用动画 ggplot2-plot 管理并行处理?

我正在尝试使用 ggplot2 和 magick 构建一个以“每天"为基础增长的动画条形图.不幸的是,我的数据集中有成千上万个条目(几年中每天的日期和不同类别),这使得处理速度非常慢.因此,我使用 snow 包来加快处理时间.但是,我在拆分数据并在集群中调用 ggplot() 时遇到了麻烦. magick 需要拆分每个日期的动画数据,snow 需要拆分每个集群以进行并行处理.所以,我得到了一 ..
发布时间:2021-11-10 05:48:43 其他开发

R中的平行回归(可能有降雪)

我正在尝试并行运行 R 以运行回归.我正在尝试使用降雪库(但我对任何方法都持开放态度).目前,我正在运行以下回归,这需要很长时间才能运行.有人可以告诉我怎么做吗? sales_day_region_ctgry_lm 我已经开始了以下路径: 图书馆(降雪)sfInit(parallel = TRUE, cpu=4, type="SOCK")包装器 ..
发布时间:2021-06-14 18:52:47 其他开发

如何使用降雪导出预定义函数?

我试图使用降雪包在4个内核中运行一些仿真.我使用了'mgcv'库及其'rmvn'函数来模拟用户定义函数中的一些多元数据.我在另一个用户定义的函数中调用了降雪包,并使用'sfExpotAll'导出了全局环境中的所有变量.但是它给出了一个错误,提示“找不到函数" rmvn"". 然后我使用 sfExport('rmvn')分别导出它,但随后出现错误,提示“导出时未知/未找到变量rmvn" ./p ..
发布时间:2021-05-06 19:10:14 其他开发

R:在doParallel中建立群集/降雪挂起

我在局域网上有两台服务器,新安装了Centos 6.4 minimum和R 3.0.1.两台计算机都安装了doParallel,snow和snowfall软件包. 服务器可以相互ssh罚款. 当我尝试在任一方向上建立集群时,都会提示您输入密码,但是输入密码后,它会无限次地挂在那里. makePSOCKcluster("192.168.1.1",user="username") ..
发布时间:2020-05-24 21:16:19 其他开发

并行流程的沟通:我有什么选择?

我正在尝试更深入地研究R例程的并行化. 关于一堆与“工人"过程有关的沟通,我有哪些选择 各人之间的沟通 ? 工人与"主人"过程的沟通? AFAIU,没有"共享环境/共享内存"这样的东西,主机和所有工作进程都可以访问,对吗? 到目前为止,我想到的最好的主意是使通信基于将JSON文档读写到硬盘驱动器上.这可能是个坏主意;-)我选择.json而不是.Rdata文件,因为JSON ..
发布时间:2020-05-24 21:10:23 其他开发

如何使用动画ggplot2-plot管理并行处理?

我正在尝试使用ggplot2和magick构建一个动画的barplot,该barplot以“每天的天数"为基础增长.不幸的是,我的数据集中有成千上万个条目(几年中每天的日期和不同类别),这使处理速度非常慢.因此,我正在使用snow包来加快处理时间. 但是,在拆分数据并在集群中调用ggplot()时遇到麻烦. magick要求按日期划分数据以进行动画处理,而snow要求按聚类进行拆分以进行并行 ..
发布时间:2020-05-24 21:07:27 其他开发

使用降雪R初始化MPI集群

我一直试图在大学的集群上运行Rmpi和snowfall,但是由于某种原因,无论我分配了多少个计算节点,我的snowfall初始化都只在一个节点上运行. 这是我的初始化方式: sfInit(parallel=TRUE, cpus=10, type="MPI") 有什么想法吗?我将根据需要提供澄清. 解决方案 要在群集上运行基于Rmpi的程序,您需要使用批处理排队系统请求多个节 ..

如何在R中的并行方法中使用徒劳的记录器进行记录?

我正在R中使用徒劳的记录器进行记录. 我有一个使用R中的降雪实现的并行算法.并行进程的每个核心都在记录器中记录一个中间输出.但是此输出未显示在记录器中吗? 我们是否可以在降雪的并行作业中使用徒劳的记录器记录日志? 添加操作方式: 我的具体情况有些不同.我正在使用创建的共享库从R调用C函数.该函数是一个迭代算法,我需要每隔几次迭代记录一次输出.我对从C函数记录到徒劳的记录器很感兴趣 ..
发布时间:2020-05-03 08:31:25 其他开发

使用C和并行R中快速相关

我今天的项目是使用基本技能我必须写在R A快速相关程序。我必须找到各有将近一百万的观测近400变量之间的相关性(即大小P = 1MM行和放大器的矩阵; N = 400 COLS)。 研究的本地相关函数花费1MM行近2分钟,每个变量200观察。我没有为每列400的观测运行,但我的猜测是,这将需要近8分钟。我有不到30秒完成它。 因此​​,我想要做的做的事情。 1 - C编写一个简单的相关函数, ..
发布时间:2016-08-21 20:42:38 C/C++

用雪(降雪)与AWS的在研发并行处理

在关系到我的前面相似,所以怀疑,我试着使用AWS上的并行计算的雪/降雪。 我所做的是: 在 sfInit()功能,我提供的公共DNS来 socketHosts 像这样的参数 sfInit(平行= TRUE,socketHosts =列表(“ec2-00-00-00-000.compute-1.amazonaws.com”)) 错误返回权限被拒绝(公钥) 然后我跟着指示(I presume正确! ..