SparkUI网址将成为火花独立的应用程序模式完成后不活动 [英] SparkUI URL becomes inactive after spark standalone application mode finishes

问题描述

我很新的火花，我想在火花运行SimpleApp.py。
当我使用的火花壳./bin/pyspark，网址 http://192.168.0.11:4040/ 保持不变，直到时间，外壳是积极的，但是当我杀了外壳并尝试运行火花独立的应用程序

I am very new to Spark and I am trying to run the SimpleApp.py in spark. When I use spark-shell ./bin/pyspark , the url http://192.168.0.11:4040/ remains intact till the time, the shell is active , but when I kill the shell and try to run spark standalone application

./bin/spark-submit --master yarn examples/SimpleApp.py

链接 http://192.168.0.11:4040/ 仅在作业运行的活动。当它完成我无法访问的URL。
如何保持URL总是火花独立模式下运行。

the url http://192.168.0.11:4040/ is only active when the job is running. When it finishes I can't access the url. How to keep the url always running in spark standalone mode.

我使用的火花从官方网站的火花1.1.1彬hadoop2.4和的Mac OS上运行相同

I am using spark-1.1.1-bin-hadoop2.4 from spark official site and running the same in Mac-os

推荐答案

打开注释成一个答案......

Turning the comment into an answer...

您可以按照监控文档要启用登录您的应用程序，你就可以使用星火历史服务器来渲染完成应用程序的UI。

You can follow the Monitoring docs to enable event logging for your application, and you can then use Spark's History Server to render the UI of finished applications.

这篇关于SparkUI网址将成为火花独立的应用程序模式完成后不活动的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！