如何检查的核心星火用途是多少？ [英] How to check the number of cores Spark uses?

问题描述

我 spark.cores.max 设置为 24 [3个工作节点]，但如果我进去我的工作节点，看到只有一个过程[命令=的Java]跑步消耗的内存和CPU。我怀疑它不使用所有8个内核（关于 m2.4x大）。

I have spark.cores.max set to 24 [3 worker nodes], but If I get inside my worker node and see there is just one process [command = Java] running that consumes memory and CPU. I suspect it does not use all 8 cores (on m2.4x large).

如何知道电话号码？

推荐答案

您可以看到在占据星火Web UI的下集群中的每个工人的内核数量：

You can see the number of cores occupied on each worker in the cluster under the Spark Web UI:

这篇关于如何检查的核心星火用途是多少？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！