AWS Glue 中 1 个 DPU 中的最大并发任务数 [英] Maximum number of concurrent tasks in 1 DPU in AWS Glue

问题描述

AWS Glue 中的标准 DPU 带有 4 个 vCPU 和 2 个执行程序.我对可以与此配置并行运行的最大并发任务数感到困惑.单个 DPU 上有 4 个还是 8 个，有 4 个 vcpu 和 2 个执行程序?

A standard DPU in AWS Glue comes with 4 vCPU and 2 executors. I am confused about the maximum number of concurrent tasks that can be run in parallel with this configuration. Is it 4 or 8 on a single DPU with 4vcpu and 2 executors?

推荐答案

我与 AWS Glue 支持团队就此进行了类似的讨论，我将与您分享他们告诉我的有关 Glue 配置的内容.以标准和 G1.X 配置为例.

I had a similar discussion with the AWS Glue support team about this, I'll share with you what they told me about Glue Configuration. Take in example the Standard and the G1.X configuration.

标准 DPU 配置:

• 为 MasterNode 预留 1 个 DPU
• 为 Driver/ApplicationMaster 保留 1 个执行程序
• 每个 DPU 配置了 2 个执行器
• 每个执行器配置了 5.5 GB 内存
• 每个执行器配置了 4 个内核

G.1X WorkerType 配置:

G.1X WorkerType Configuration:

• 为 MasterNode 添加了 1 个 DPU
• 为 Driver/ApplicationMaster 保留 1 个 DPU
• 每个worker配置了1个executor
• 每个执行器配置了 10 GB 内存
• 每个执行器配置了 8 个内核

例如，如果我们有一个带有 21 个 DPU 的标准配置作业意味着我们有:

If we have for example a Job with Standard Configuration with 21 DPU means that we have:

• 为 Master 预留 1 个 DPU
• 20 个 DPU x 2 = 40 个执行者
• 40 个执行者 - 1 个司机/AM = 39 个执行者

然后我们最终得到总共 156 个内核.这意味着，您的作业有 156 个执行槽.例如，如果您从 S3 读取文件，则意味着您将能够并行接受 156 个输入文件.

Which we then end up with a total amount of 156 cores. Meaning, your job has 156 slots for execution. If for example you read files from S3 that means that you will be able to accept 156 input files in parallel.

希望有帮助.

这篇关于AWS Glue 中 1 个 DPU 中的最大并发任务数的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！