如何使用AWS自动扩展功能扩展具有1个主节点和2个核心节点的AWS EMR群集?有没有办法? [英] How do I scale my AWS EMR cluster with 1 master and 2 core nodes using AWS auto scaling? Is there a way?

查看:462
本文介绍了如何使用AWS自动扩展功能扩展具有1个主节点和2个核心节点的AWS EMR群集?有没有办法?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我使用AWS EMR实施了一个集群。我有一个拥有2个核心节点的hadoop bootstrap动作主ndoe。现在,我想使用自动缩放并根据cpu阈值和其他一些约束条件动态调整簇大小。 BUt,我不知道网络上没有太多关于如何在现有集群上使用AutoScaling的信息。任何帮助。

I have implemented a cluster using AWS EMR. I have a master ndoe with 2 core nodes with hadoop bootstrap action. Now, I would like to use autoscaling and adjust the cluster size dynamically based on cpu threshold and some other constraints. BUt, I have no idea as there isn't much information on the web on how to use AutoScaling on already existing cluster. Any help.

推荐答案

目前,您无法在AutoScaling组中启动EMR CLuster。但是,通过将CloudWatch警报通知发送到SQS队列和使用AWS CLI或SDK修改群集的使用该队列的脚本,您可以实现非常类似的目标。

Currently you can't launch a EMR CLuster in a AutoScaling Group. But you can achieve a very similar goal by delivering your CloudWatch alarms notification to an SQS queue and a script consuming from that queue that uses AWS CLI or SDK to modify the cluster.

这篇关于如何使用AWS自动扩展功能扩展具有1个主节点和2个核心节点的AWS EMR群集?有没有办法?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆