如何在 EMR 上为 Spark/Zeppelin 设置 spark.driver.memory [英] How to set spark.driver.memory for Spark/Zeppelin on EMR

问题描述

使用 EMR(使用 Spark、Zeppelin)时，在 Zeppelin Spark 解释器设置中更改 spark.driver.memory 将不起作用.

我想知道在使用 EMR Web 界面(而不是 aws CLI)创建集群时设置 Spark 驱动程序内存的最佳和最快方法是什么?

Bootstrap 操作是否可以成为解决方案?如果是，您能否提供一个示例，说明引导操作文件的外观?

解决方案

您可以随时尝试在作业流程/集群创建中添加以下配置:

<预><代码>[{分类":火花默认"，特性": {"spark.driver.memory": "12G"}}]

无论是spark-default、hadoop core-site 等大部分配置都可以做到这一点

我希望这会有所帮助！

When using EMR (with Spark, Zeppelin), changing spark.driver.memory in Zeppelin Spark interpreter settings won't work.

I wonder what is the best and quickest way to set Spark driver memory when using EMR web interface (not aws CLI) to create clusters?

Is Bootstrap action could be a solution? If yes, can you please provide an example of how the bootstrap action file should look like?

解决方案

You can always try to add the following configuration on job flow/cluster creation :

[
    {
        "Classification": "spark-defaults",
        "Properties": {
            "spark.driver.memory": "12G"
        }
    }
]

You can do this most of the configurations whether for spark-default, hadoop core-site, etc.

I hope this helps !

这篇关于如何在 EMR 上为 Spark/Zeppelin 设置 spark.driver.memory的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！