运行更大的纱线作业的主要限制是什么？我如何增加它？ [英] What is the main constraint on running larger YARN jobs and how do I increase it?

问题描述

运行更大的纱线作业(Hadoop版本HDP-3.1.0.0(3.1.0.0-78))的主要限制是什么？我如何增加它？基本上，我希望同时执行更多(所有都很大)的SQOOP作业。

我目前假设我需要增加资源管理器堆的大小(因为当我运行纱线作业时，这就是我在Ambari仪表板上看到的)。如何将更多资源添加到RM堆/为什么RM堆似乎只占可用总RAM的一小部分(用于纱线？)跨群集？

查看Ambari：纱线集群内存为55 GB，但RM堆只有900MB。 有更多经验的人能告诉我在运行更多的纱线应用程序时有什么区别，限制因素是什么(再说一遍，我如何增加它)？还有什么是我应该看的吗？有没有更详细地解释这一点的文档？

推荐答案

调整纱线和MapReduceMemory的便捷方法是使用纱线实用程序脚本。

下载配对文件##Ref

wget http://public-repo-1.hortonworks.com/HDP/tools/2.6.0.3/hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

tar zxvf hdp_manual_install_rpm_helper_files-2.6.0.3.8.tar.gz

---

执行纱线实用程序脚本##Ref

您可以通过提供可用内核、可用内存、否来执行yer-utils.pypython脚本。在磁盘中，是否安装了HBase。

如果您有一个异类Hadoop集群，则必须基于节点规范创建配置组。如果您需要更多关于这方面的信息，请让我知道，我会根据这一点更新我的答案。

这篇关于运行更大的纱线作业的主要限制是什么？我如何增加它？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！