在 Sun Grid Engine (SGE) 中将作业分布在集群的不同节点上 [英] Spreading a job over different nodes of a cluster in sun grid engine (SGE)

问题描述

我正在尝试使用 sun gridending (sge) 在集群的所有节点上运行 MPI 作业的单独进程.

I'm tryin get sun gridending (sge) to run the separate processes of an MPI job over all of the nodes of my cluster.

实际情况是每个节点有 12 个处理器，因此 SGE 将我的 60 个进程中的 12 个分配给 5 个单独的节点.

What is happening is that each node has 12 processors, so SGE is assigning 12 of my 60 processes to 5 separate nodes.

我希望它为 30 个可用节点中的每一个分配 2 个进程，因为每个节点上运行 12 个进程(dna 序列对齐)，节点内存不足.

I'd like it to assign 2 processes to each of the 30 nodes available, because with 12 processes (dna sequence alignments) running on each node, the nodes are running out of memory.

所以我想知道是否可以明确地让 SGE 将进程分配给给定的节点?

So I'm wondering if it's possible to explicitly get SGE to assign the processes to a given node?

谢谢，

保罗.

推荐答案

您可以通过创建一个队列来实现，您可以在其中定义队列在每个节点中仅使用 12 个处理器中的 2 个处理器.

You can do it by creating a queue in which you can define the queue uses only only 2 processors out of 12 processors in each node.

您可以使用命令查看当前队列的配置

You can see configuration of current queue by using the command

 qconf -sq queuename

您将在队列配置中看到以下内容.这个队列以这样的方式命名，它只使用 5 个执行主机和 4 个插槽(处理器).

you will see following in the queue configuration. This queue named in such a way that it uses only 5 execution hosts and 4 slots (processors) each.

....
slots                 1,[master=4],[slave1=4],[slave2=4],[slave3=4],[slave4=4]
....

使用以下命令更改队列配置

use following command to change the queue configuration

qconf -mq queuename

然后将这 4 个变成 2 个.

then change those 4 into 2.

这篇关于在 Sun Grid Engine (SGE) 中将作业分布在集群的不同节点上的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！