会话在AWS EMR群集中不处于活动状态 [英] Session isn't active Pyspark in an AWS EMR cluster

问题描述

我已打开一个AWS EMR集群，并在pyspk3 jupyter笔记本中运行以下代码：

"..
textRdd = sparkDF.select(textColName).rdd.flatMap(lambda x: x)
textRdd.collect().show()
.."

我收到此错误：

An error was encountered:
Invalid status code '400' from http://..../sessions/4/statements/7 with error payload: {"msg":"requirement failed: Session isn't active."}

运行生产线：

sparkDF.show()

奏效！

我还创建了该文件的一小部分，并且我的所有代码都运行得很好。

有什么问题？

推荐答案

我遇到了同样的问题，超时的原因是驱动程序内存不足。由于您运行collect()，所有数据都被发送到驱动程序。默认情况下，通过JupyterHub创建Spark应用程序时，驱动程序内存为1000M，即使您通过config.json设置了更高的值。通过在jupyter笔记本中执行代码可以看到这一点

spark.sparkContext.getConf().get('spark.driver.memory')

1000M

要增加驱动程序内存，只需

%%configure -f 
{"driverMemory": "6000M"}

这将使用增加的驱动程序内存重新启动应用程序。您可能需要为数据使用更高的值。希望能有所帮助。

这篇关于会话在AWS EMR群集中不处于活动状态的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！