如何在火花纱簇模式下使用--属性-文件选项加载额外的火花属性？ [英] How to load extra spark properties using --properties-file option in spark yarn cluster mode?

问题描述

我在纱线集群模式下使用Spark-Submit运行一个Spark作业。为了在运行时提交输入和输出文件路径，我尝试加载一个包含输入和输出路径的属性文件。

属性文件：input.properties

    spark.myapp.input /input/path
    spark.myapp.output /output/path

我正在使用以下命令运行我的应用程序。

  `spark-submit --class Property --master yarn-cluster prop.jar --properties-file input.properties`

Scala代码：

    import org.apache.spark.SparkConf
    import org.apache.spark.SparkContext
    import java.io.FileInputStream
    import collection.JavaConversions._
    import java.util.Properties;
    object Property {
      def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("myApp");
        val sparkContext = new SparkContext(conf);
        val input=sparkContext.getConf.get("spark.myapp.input")
        println(input)
        sparkContext.stop;
      }
    }

当我在本地和纱线客户端模式下运行我的程序时，我能够访问这些属性。但在Spark-Submit模式下，我会遇到异常。

    ERROR yarn.ApplicationMaster: User class threw exception: java.util.NoSuchElementException: spark.myapp.input

推荐答案

如果您使用纱线，请使用--files input.properties。我也有同样的问题，它解决了我的问题。

这篇关于如何在火花纱簇模式下使用--属性-文件选项加载额外的火花属性？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！