为何我的spark集群运行如此之慢？

问题描述

问 题

spark standalone集群相关配置如下：

在该集群上跑计算pi的例子
运行：

./spark-submit --master spark://tdlabnode4:7077 --class org.apache.spark.examples.SparkPi --executor-memory 3g ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 1000

控制台部分输出如下

但是一直没有完成任务，在spark web上查看任务进度

一直是这样

请问是我集群配置的问题吗？该从哪里下手解决问题。

求各位大牛指明一个解决的方向。

解决方案

已解决，我在32位的系统上开了3g内存

java -Xmx3072M -version

Executor一直报错

这篇关于为何我的spark集群运行如此之慢？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！