火花配置优先级 [英] Spark configuration priority

问题描述

在代码中指定Spark应用程序配置是否有区别或优先级：

SparkConf().setMaster(yarn)

并在命令行中指定它们

spark-submit --master yarn

推荐答案

是，在用户代码中使用set()函数为配置赋予最高优先级。在那之后，旗帜闪闪发光地过去了。

直接在SparkConf上设置的属性具有最高优先级，然后将标志传递给Spark-Submit或Spark-Shell，然后是spark-defaults.conf文件中的选项。自Spark的早期版本以来，已重命名了一些配置密钥；在这种情况下，仍接受较旧的密钥名称，但优先级低于较新密钥的任何实例。

Source

这篇关于火花配置优先级的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！