如何从程序得到火花的工作状态？ [英] How to get spark job status from program?

问题描述

据我所知，Hadoop的REST API提供了通过程序访问到工作状态。

I am aware that hadoop REST API provides access to job status via program.

同样有什么办法让一个程序火花的工作状态？

Similarly is there any way to get the spark job status in a program?

推荐答案

有一个（N）（几乎）无证REST API，提供几乎所有你可以在星火UI看功能：

There's a (n)(almost) undocumented REST API feature that delivers almost everything you can see on the Spark UI:

http://<sparkMasterHost>:<uiPort>/api/v1/...

有关本地安装你可以从这里开始：

For local installation you can start from here:

http://localhost:8080/api/v1/applications

可能的终点，你可以在这里找到：<一href=\"https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/status/api/v1/ApiRootResource.scala\" rel=\"nofollow\">https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/status/api/v1/ApiRootResource.scala

这篇关于如何从程序得到火花的工作状态？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！