如何用普罗米修斯监控阿帕奇火花？ [英] How to monitor Apache Spark with Prometheus?

问题描述

我读到过Spark没有将普罗米修斯作为预装水槽之一。所以我找到了这篇post关于如何用普罗米修斯监控阿帕奇火花的文章。

但我发现很难理解并成功，因为我是初学者，这是第一次使用ApacheSpark。

我不明白的第一件事是我需要做什么？

• 我需要更改指标。属性

• 我应该在应用程序中添加一些代码还是？

我不知道要做的步骤是什么…

我要做的事情是：像在链接中一样更改属性，编写以下命令：

--conf spark.metrics.conf=<path_to_the_file>/metrics.properties

我还需要做什么才能查看来自ApacheSpark的指标？

我还发现了以下链接： Monitoring Apache Spark with Prometheus

https://argus-sec.com/monitoring-spark-prometheus/

但我也不能用它…

我读到有一种方法可以从Graphite获取度量，然后将它们导出到普罗米修斯，但我找不到一些有用的文档。

推荐答案

使用普罗米修斯监控ApacheSpark的方法很少。

其中一种方式是JmxSink + jmx-exporter

准备

• 取消对spark/conf/metrics.Properties中的*.sink.jmx.class=org.apache.spark.metrics.sink.JmxSink的注释
• 通过prometheus/jmx_exporter上的链接下载jmx-exporter
• 下载Example prometheus config file

在Spark-Shell或Spark-Submit中使用

在下面的命令中，jmx_prometheus_javaagent-0.3.1.jar文件和spark.yml是在前面的步骤中下载的。可能需要进行相应更改。

bin/spark-shell --conf "spark.driver.extraJavaOptions=-javaagent:jmx_prometheus_javaagent-0.3.1.jar=8080:spark.yml" 

访问它

运行后，我们可以使用localhost:8080/metrics

访问

下一步

然后它可以配置普罗米修斯从jmx-exporter中抓取指标。

注意：如果发现部分在群集环境中运行，则必须正确处理它。

这篇关于如何用普罗米修斯监控阿帕奇火花？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！