如何使用Data Factory在HDInsights群集中设置自定义Spark参数 [英] How to setup custom Spark parameter in HDInsights cluster with Data Factory

问题描述

我正在根据描述

例如，现在我想设置spark自定义参数 群集设置时，spark.yarn.appMasterEnv.PYSPARK3_PYTHON或spark_daemon_memory.

Now I would like to set up spark custom parameter, for example spark.yarn.appMasterEnv.PYSPARK3_PYTHON or spark_daemon_memory in time of cluster provisioning.

是否可以使用数据工厂/自动化帐户进行设置?我找不到执行此操作的任何示例.

Is it possible to setup using Data Factory/Automation Account? I can not find any example doing this.

谢谢

推荐答案

您可以在Data Factory中使用SparkConfig将这些配置传递给Spark.

You can use SparkConfig in Data Factory to pass these configurations to Spark.

例如:

"typeProperties": {
...
  "sparkConfig": {
     "spark.submit.pyFiles": "/dist/package_name-1.0.0-py3.5.egg",
     "spark.yarn.appMasterEnv.PYSPARK_PYTHON": "/usr/bin/anaconda/envs/py35/bin/python3"
  }
}

这样，您可以指定文档中列出的所有Spark配置这里.

这篇关于如何使用Data Factory在HDInsights群集中设置自定义Spark参数的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！