如何通过 Spark 属性(Spark 1.6)在 spark-shell 中启用或禁用 Hive 支持? [英] How to enable or disable Hive support in spark-shell through Spark property (Spark 1.6)?

问题描述

是否有任何配置属性我们可以设置它以在 spark 1.6 中通过 spark-shell 明确禁用/启用 Hive 支持.我试图获取所有 sqlContext 配置属性，

Is there any configuration property we can set it to disable / enable Hive support through spark-shell explicitly in spark 1.6. I tried to get all the sqlContext configuration properties with,

sqlContext.getAllConfs.foreach(println)

但是，我不确定禁用/启用配置单元支持实际上需要哪些属性.或者有没有其他方法可以做到这一点?

But, I am not sure on which property can actually required to disable/enable hive support. or Is there any other way to do this?

推荐答案

火花 >= 2.0

可以通过配置启用和禁用 Hive 上下文spark.sql.catalogImplementation

spark.sql.catalogImplementation 的可能值为内存或蜂巢

Possible values for spark.sql.catalogImplementation is in-memory or hive

SPARK-16013 添加选项以在 spark-shell/pyspark 中禁用 HiveContext

---

火花<2.0

此类 Spark 属性在 Spark 1.6 中不可用.

解决此问题的一种方法是删除与 Hive 相关的 jar，这反过来会禁用 Spark 中的 Hive 支持(因为当所需的 Hive 类可用时，Spark 具有 Hive 支持).

One way to work it around is to remove Hive-related jars that would in turn disable Hive support in Spark (as Spark has Hive support when required Hive classes are available).

这篇关于如何通过 Spark 属性(Spark 1.6)在 spark-shell 中启用或禁用 Hive 支持?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！