为什么SparkSQL不支持子查询？ [英] Why SparkSQL doesn't support subquery?

问题描述

我正在运行在星火外壳此查询，但它给我的错误，

  sqlContext.sql（
 选择samplecsv那里SAL＆LT SAL（选择samplecsv MAX（SAL））
）.collect（）的foreach（的println）
 

错误：

  

了java.lang.RuntimeException：[1.47]失败：``）''，但却标识符MAX找到

  
  

从samplecsv，其中SAL＆LT选择S​​AL; （选择samplecsv MAX（SAL））
                                                ^
      在scala.sys.package $ .error（package.scala：27）
  任何人都可以explan我，谢谢

解决方案

星火2.0 +

星火SQL应支持相关和不相关子查询。见<一href=\"https://github.com/apache/spark/blob/df89f1d43d4eaa1dd8a439a8e48bca16b67d5b48/sql/core/src/test/scala/org/apache/spark/sql/SubquerySuite.scala\"相对=nofollow> SubquerySuite 了解详情。一些例子包括：

  SELECT * FROM L其中存在（选择R *，其中L.A = R.C）
SELECT * FROM L其中，NOT EXISTS（选择R *，其中L.A = R.C）选择L *，其中L.A中（选择R C）
凡不在（选择R C）SELECT *由L
 

星火＆LT; 2.0

星火支持从子句中的子查询（同蜂房＆LT; = 0.12）。

  SELECT COL FROM（SELECT * FROM T1 WHERE吧）T2
 

它只是不支持子查询的 WHERE clause.Generally讲任意子查询（尤其是相关子查询）不可能是前$ P $使用星火无pssed促进以笛卡儿连接。

由于子查询的性能通常是一个典型的关系系统显著的问题，每个子查询可以使用前pressed 加入没有在这里失功能

I am running this query in Spark shell but it gives me error,

sqlContext.sql(
 "select sal from samplecsv where sal < (select MAX(sal) from samplecsv)"
).collect().foreach(println)

error:

java.lang.RuntimeException: [1.47] failure: ``)'' expected but identifier MAX found

select sal from samplecsv where sal < (select MAX(sal) from samplecsv) ^ at scala.sys.package$.error(package.scala:27) Can anybody explan me,thanks

解决方案

Spark 2.0+

Spark SQL should support both correlated and uncorrelated subqueries. See SubquerySuite for details. Some examples include:

select * from l where exists (select * from r where l.a = r.c)
select * from l where not exists (select * from r where l.a = r.c)

select * from l where l.a in (select c from r)
select * from l where a not in (select c from r)

Spark < 2.0

Spark supports subqueries in the FROM clause (same as Hive <= 0.12).

SELECT col FROM (SELECT *  FROM t1 WHERE bar) t2

It simply doesn't support subqueries in the WHERE clause.Generally speaking arbitrary subqueries (in particular correlated subqueries) couldn't be expressed using Spark without promoting to Cartesian join.

Since subquery performance is usually a significant issue in a typical relational system and every subquery can be expressed using JOIN there is no loss-of-function here.

这篇关于为什么SparkSQL不支持子查询？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！