Spark Web UI 中不显示Applications

问题描述

问 题

搭建了一个hadoop1的分布式环境，在上面跑spark。使用spark-submit提交spark自带的kmeans的example后，终端已打印出运行结果，但是web UI（localhost:8080）里面Running Applications和Completed Applications都是空的，好像几乎没人遇到这个问题。

而且不论我用pyspark还是spark-submit，都只能运行hdfs上的文件，就算加上 --master local 参数也不管用，小白表示很是郁闷，还请各位大神解答，感激不尽！

解决方案

我也遇到过只能运行hdfs上文件的问题，提示说本地目录找不到。后来我把spark-env.sh里的hadoop目录去掉就可以了。具体的原理还不是很明白。

这篇关于Spark Web UI 中不显示Applications的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！