使用Prometheus jmxexporter获取SPEK2集群指标 [英] Getting spark2 cluster metrics using prometheus jmxexporter

问题描述

我们正在尝试使用普罗米修斯获取火花指标。我们使用的是jmx导出器jmx_prometheus_javaagent-0.12.0.jar。

我们能够获取部署模式客户端的指标，但无法获取群集的指标。

对于使用的独立命令为

./Spark-Submit--conf"spark.driver.extraJavaOptions=-javaagent：../jars/jmx_prometheus_javaagent-0.12.0.jar=8071：../conf/spark.yml"--类一些定制类--部署模式客户端--执行器-内存3G--驱动程序-内存3G../jars/ome jar.jar

对于群集，我们已尝试

./Spark-Submit--Supervisor--部署模式集群--conf‘spark.driver.extraJavaOptions=-javaagent:jars/jmx_prometheus_javaagent-0.12.0.jar=8060:/conf/spark.yml spark.executor.extraJavaOptions=-javaagent:/jars/jmx_prometheus_javaagent-0.12.0.jar=8061:/conf/spark.yml spark.jars=/jars/jmx_prometheus_javaagent-0.12.0.jar’--文件/jars/jmx_prometheus_javaagent-0.12.0.jar--类org.apache.park.Examples.SparkTC--master Spark：//主机1：7077，主机2：7077--执行器-内存1G--总执行器-核心1/spark/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 1

我们是否在安装程序或命令中遗漏了什么？

推荐答案

需要打开安装程序中缺少的JMX端口..

遵循https://argus-sec.com/monitoring-spark-prometheus/并可以获取度量值。

这篇关于使用Prometheus jmxexporter获取SPEK2集群指标的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！