Spark SQL:如何告诉Hive在Spark上运行查询? [英] Spark SQL: how does it tell hive to run query on spark?

问题描述

正如此处正确指出的: 在Hive上执行Spark SQL查询

As rightly pointed out here: Spark SQL query execution on Hive

通过HiveContext运行时，Spark SQL将使SQL查询使用Spark引擎.

Spark SQL when running through HiveContext will make SQL query use the spark engine.

spark SQL设置 hive.execution.engine=spark 如何告诉蜂巢这样做?

How does spark SQL setting hive.execution.engine=spark tell hive to do so?

请注意，这是自动进行的，我们不必在spark的conf目录中的 hive-site.xml 中进行指定.

Note this works automatically, we do not have to specify this in hive-site.xml in the conf directory of spark.

推荐答案

这里有2个独立项目

1. Hive on Spark -将Spark作为附加引擎集成的Hive项目
2. Spark SQL -使用Hive代码的Spark模块.

1. Hive on Spark - Hive project that integrates Spark as an additional engine.
2. Spark SQL - Spark module that makes use of the Hive code.

HiveContext属于第二个，hive.execution.engine是第一个的属性.

HiveContext belongs to the 2nd and hive.execution.engine is a property of the 1st.

这篇关于Spark SQL:如何告诉Hive在Spark上运行查询?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！