如何增加YARN中nodemanager中容器的数量 [英] How to increase the number of containers in nodemanager in YARN

问题描述

我的YARN集群中的节点具有64GB内存和24个内核。我在yarn-site.xml中设置了以下属性：

 < property> 
< name> yarn.nodemanager.resource.memory-mb< / name> 
<值> 32768< /值> 
< / property> 
<属性> 
< name> yarn.nodemanager.resource.cpu-vcores< / name> 
<值> 16< /值> 
< / property> 
  

但是我发现节点中的nodemanager仍然只有7个容器。我需要设置哪些其他属性？

解决方案

您需要告诉YARN如何将内存拆分为容器，例如，如果将每个容器的内存设置为2GB将为您提供16个容器

 < name> yarn.scheduler.minimum-allocation-mb< / name> 
<值> 2048< /值> 
  

A node in my YARN cluster has 64GB memory and 24 cores. I set the following properties in the yarn-site.xml:

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>32768</value>
</property>
<property>
  <name>yarn.nodemanager.resource.cpu-vcores</name>
  <value>16</value>
</property>

But I found still the nodemanager in the node has only 7 containers. What are other properties I need to set?

解决方案

You need to tell YARN how to break down the memory to containers so for instance if you set the memory per container to 2GB will give you 16 containers

<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

这篇关于如何增加YARN中nodemanager中容器的数量的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！