会话在AWS EMR群集中不处于活动状态 [英] Session isn't active Pyspark in an AWS EMR cluster
本文介绍了会话在AWS EMR群集中不处于活动状态的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
我已打开一个AWS EMR集群,并在pyspk3 jupyter笔记本中运行以下代码:
"..
textRdd = sparkDF.select(textColName).rdd.flatMap(lambda x: x)
textRdd.collect().show()
.."
我收到此错误:
An error was encountered:
Invalid status code '400' from http://..../sessions/4/statements/7 with error payload: {"msg":"requirement failed: Session isn't active."}
运行生产线:
sparkDF.show()
奏效!
我还创建了该文件的一小部分,并且我的所有代码都运行得很好。
有什么问题?
推荐答案
我遇到了同样的问题,超时的原因是驱动程序内存不足。由于您运行collect()
,所有数据都被发送到驱动程序。默认情况下,通过JupyterHub创建Spark应用程序时,驱动程序内存为1000M
,即使您通过config.json
设置了更高的值。通过在jupyter笔记本中执行代码可以看到这一点
spark.sparkContext.getConf().get('spark.driver.memory')
1000M
要增加驱动程序内存,只需
%%configure -f
{"driverMemory": "6000M"}
这将使用增加的驱动程序内存重新启动应用程序。您可能需要为数据使用更高的值。希望能有所帮助。
这篇关于会话在AWS EMR群集中不处于活动状态的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文