Dryad和HPC集群 [英] Dryad and HPC Cluster

问题描述

我是Dryad和Windows hpc服务器的新手，所以我试图了解它是如何工作的。

I am new to Dryad and windows hpc servers, so i was trying to understand how this works.

我的系统有7个计算节点和一个头节点。我的DSC文件集有3个节点中的7个文件。如果我向群集提交和LINQ作业要求整个系统，它会使用所有可用的ndoes吗？如果是这样，数据是否会从一个节点转移到
其他节点？

My system has 7 compute nodes with one headnode. My DSC fileset has 7 files located in 3 nodes. If i submit and LINQ job to the cluster asking for the whole system, will it use all the available ndoes? If so, will the data be transfered from one node to other?

还有一个问题，比如我的文件集中是否只包含3个节点中的6个文件并提交此信息仅在3个处理器上工作。然后第一部分是明确的，每个处理器将在其本地数据集上工作。但是在某种程度上说，如果一个处理器很早就完成了两个文件的工作
，那么其他处理器和其他一些处理器仍然停留在第一个文件中，然后会发生什么？完成的处理器是否处于空闲状态，或者数据是否会从另一台机器转移到
处理器空闲的机器上？

And one more question, say if my fileset has only 6 files in 3 nodes and submit this job on only 3 processors. Then the first part is clear, that each processor will work on its local datasets. But at point say if one processor completes its work for both files very early then others and some other processor is still stuck with the first file, then what will happen? Will the processor which has completed sit idle or will the data will be transfered from the other machine to the machine where the processor is free?

推荐答案

将提交一个HPC作业，其中包含有关使用哪些CN（max，min，computegroup等）的一些配置;作业将
在每个计算节点上运行长时间运行的任务，并作为图形管理器（GM）运行单独的长期运行任务。  当所有这些任务都启动并运行时，GM将指示计算任务使用输入文件并确定要使用的确切映射。每个任务
将一次消耗一个输入文件，然后向GM询问它应该消耗的下一个ID的ID。  （如果出现错误，GM可能会根据需要重新分配或重复某些工作） 

 

所以，有了在3个节点上有7个文件，你可以期望通过每个获取一个文件来启动三个计算任务，并且最有可能每个
将获得一个驻留在本地的文件。一旦任务耗尽了文件，它将再次获得另一个......本地数据将被选择在哪里  可能。

 

3个节点上6个文件的情况基本相同.GM不会在
前面创建静态文件 - >节点计划，但会在计算任务变为空闲时动态选择。

 

一些最佳实践：

1。为了改善数据访问的局部性：安排仅在将用作CN的相同节点上拥有数据。

2。要改善负载平衡：将数据拆分为多个nComputeNode文件，（3x到20x是一个很好的规则
of thumb）。这将提供工作项的粒度，以平衡更多文件的开销与GM进行良好调度的机会。

 

-Mike。

 

 

 

这篇关于Dryad和HPC集群的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！