如何在 Spark SQL 中使用 CROSS JOIN 和 CROSS APPLY [英] How to use CROSS JOIN and CROSS APPLY in Spark SQL

问题描述

我对 Spark 和 Scala 非常陌生，我正在编写 Spark SQL 代码.我可以在我的逻辑中应用 CROSS JOIN 和 CROSS APPLY.在这里，我将发布我必须转换为 Spark SQL 的 SQL 查询.

I am very new to Spark and Scala, I writing Spark SQL code. I am in situation to apply CROSS JOIN and CROSS APPLY in my logic. Here I will post the SQL query which I have to convert to spark SQL.

select Table1.Column1,Table2.Column2,Table3.Column3
from Table1 CROSS JOIN Table2 CROSS APPLY Table3

我需要将上述查询转换为 Spark SQL 中的 SQLContext.请帮助我.提前致谢.

I need the above query to convert in to SQLContext in Spark SQL. Kindly help me. Thanks in Advance.

推荐答案

首先在 spark conf 中设置以下属性

First set the below property in spark conf

spark.sql.crossJoin.enabled=true

然后 dataFrame1.join(dataFrame2) 会做交叉/笛卡尔连接，

then dataFrame1.join(dataFrame2) will do Cross/Cartesian join,

我们也可以使用下面的查询来做同样的事情

we can use below query also for doing the same

sqlContext.sql("select * from table1 CROSS JOIN table2 CROSS JOIN table3...")

这篇关于如何在 Spark SQL 中使用 CROSS JOIN 和 CROSS APPLY的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！