cluster-computing相关内容

为什么mpi_bcast比mpi_reduce慢得多?

使用MPI,我们可以进行广播以将阵列发送到多个节点,也可以简化将多个节点上的阵列组合到一个节点上. 我猜想,实现这些目标的最快方法将是使用二叉树,其中每个节点要么发送到两个节点(bcast),要么减少两个节点(reduce),这将使节点数成为时间的对数 似乎没有什么理由会比减少广播特别慢? 我在4台计算机的群集上运行了以下测试程序,其中每台计算机具有12个内核.奇怪的是,广播比减 ..
发布时间:2021-04-22 19:44:33 C/C++开发

nginx-php-fpm集群

我有3台php-fpm服务器和1台nginx服务器,我想在其中使用nginx服务器对php-fpm进行负载平衡. php-fpm服务器1-192.168.10.31php-fpm server2-192.168.10.32php-fpm server3-192.168.10.33 nginx-服务器-192.168.10.12 我在nginx服务器上的配置为; 上游php_ba ..
发布时间:2021-04-22 19:44:29 PHP

两个复制主mysql服务器之间的事务

使用一个复制的mysql master通过innodb引擎来控制数据库,如果一个事务要在数据库A上启动,那么在提交事务之前,该行是否会锁定数据库B? 解决方案 获得第一个事务的主服务器与第二个事务完全分开,并且它们通过二进制日志进行通信. https://dev.mysql.com/doc/refman/5.7/en/replication-formats.html 在某些事物 ..
发布时间:2021-04-22 19:44:22 数据库

在SLURM中运行没有顶级脚本的二进制文件

在SGE/PBS中,我可以像在本地一样将二进制可执行文件提交到群集.例如: qsub -b y -cwd回声你好 将提交一个名为echo的作业,该作业会将单词"hello"写入其输出文件. 我如何提交与SLURM类似的工作.它期望该文件在第一行上具有hash-bang解释器.在SLURM上我得到了 $ sbatch回声你好sbatch:错误:这看起来不像批处理脚本.首先sbatc ..
发布时间:2021-04-14 19:56:49 其他开发

如何在多线程HPC集群中运行二进制可执行文件?

我有一个来自complete genomics的名为cgatools的工具( http://cgatools. sourceforge.net/docs/1.8.0/).我需要在高性能计算集群中运行一些基因组分析.我尝试运行分配超过50个内核和250gb内存的作业,但是它仅使用一个内核并将内存限制为小于2GB.在这种情况下,我最好的选择是什么?有没有一种方法可以在HPC群集中运行二进制可执行文件, ..
发布时间:2020-11-23 22:04:29 其他开发

Hazelcast:通知群集节点何时死亡

我是Hazelcast的新手. 我正在建立一个群集,其中不同的节点负责不同的活动. 当一个节点死亡时,我希望其他节点能够注意到它们,因此它们可以在它们之间重新分配死节点的活动.这可能吗? 我已经为此进行了一些研究,但是找不到任何有用的东西.任何帮助,将不胜感激:) 解决方案 此处有多种方法,可能最简单的描述方法是但是,您实际上并不希望节点首先死亡,这可能值得解决. 此外,听起来您 ..
发布时间:2020-11-22 18:58:50 Java开发

如何在fviz_silhouette中将颜色更改为除簇号以外的变量

我正在使用 R 中的软件包 factoextra 生成轮廓图.当前,轮廓通过聚类自动为图形着色.我想用另一个已定义为x的变量Site进行着色.我已经尝试过将其填充和颜色更改为站点变量,但是似乎没有任何效果.我也尝试使用scale_color_manual和scale_fill_discrete.我认为关键在scale_fill_discrete中,因为另一个用户的源代码指出了 mapping ..
发布时间:2020-11-14 00:16:20 其他开发

vCPU是否可以使用来自两台不同硬件计算机的不同CPU

我已经对此进行了搜索,但是我似乎没有一个公正的答案。 可以说我不想创建一个具有vCPU的虚拟机,并且该vCPU必须具有10个内核,但是我只有2台计算机,每个计算机具有5个物理CPU内核。 是否可以通过中继这两个物理CPU来创建一个vCPU,使其表现像常规的一个物理CPU? 更新1:假设我正在使用virtualBox,而术语vCPU指的是虚拟cpu,这是一个众所周知的术语。 更新 ..
发布时间:2020-10-10 23:55:50 其他开发

在集群中运行作业时强制加载R软件包

当我以交互模式在HPC集群中运行作业时,我可以加载软件包,如果加载失败(不确定为什么某些软件包一开始无法加载),可以通过运行库(失败的程序包)多次,但当我执行 qsub my_rscript_job.pbs 时,程序包无法加载。 我的my_rscript_job.pbs脚本是: #!/ bin / bash #PBS -l walltime = 100:00:00 #PBS - ..
发布时间:2020-10-03 02:49:20 其他开发

多节点上的h2o和hadoop上的h2o有什么区别?

在H2O网站上, H2O的核心代码是用Java编写的。在H2O内部,分布式键/值存储用于跨所有节点和机器访问和引用数据,模型,对象等。这些算法在H2O的分布式Map / Reduce框架之上实现,并利用Java Fork / Join框架进行多线程。 这意味着如果H2O在单节点群集上运行,它将不能比其他库更好地工作?但是可以在多个节点群集上很好地工作。 在多节点上的h2o和在ha ..

错误403:必需的“ container.clusters.create” Terraform以JSON密钥的所有者角色应用后

我已经创建了一个服务帐户,并添加了一个具有所有者角色的 JSON 密钥,然后从Chrome下载了。尝试使用 Terraform apply 创建Google集群,但出现此错误: 2020/09/26 01:46:14 [ERROR]评估:* terraform.EvalApplyPost,错误:googleapi:错误403:必需的“ container.clusters.create” “ pr ..

在Tomcat集群中,如何在应用程序中共享bean?

这听起来像是一个愚蠢的问题或一个简单的问题,但是我对任何类型的集群的经验都很少甚至没有,我只是好奇是否以及如何可能出现某种情况。 比方说,我已经建立了N个Tomcat实例的集群,并且已经在所有N个实例中部署了应用程序 App1 。 要在应用程序中具有某些bean(不是全部,而是某些)在整个集群中“共享”,我需要做些什么? 即,如果我有一个用于 WebsiteSettings 的b ..
发布时间:2020-10-03 02:46:58 Java开发