如何从 pyspark 设置 hadoop 配置值 [英] How to set hadoop configuration values from pyspark

问题描述

SparkContext 的 Scala 版本有这个属性

The Scala version of SparkContext has the property

sc.hadoopConfiguration

我已经成功地使用它来设置 Hadoop 属性(在 Scala 中)

I have successfully used that to set Hadoop properties (in Scala)

例如

sc.hadoopConfiguration.set("my.mapreduce.setting","someVal")

然而，SparkContext 的 python 版本缺少那个访问器.有没有办法将 Hadoop 配置值设置到 PySpark 上下文使用的 Hadoop 配置中?

However the python version of SparkContext lacks that accessor. Is there any way to set Hadoop configuration values into the Hadoop Configuration used by the PySpark context?

推荐答案

sc._jsc.hadoopConfiguration().set('my.mapreduce.setting', 'someVal')

应该可以

这篇关于如何从 pyspark 设置 hadoop 配置值的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！