如何使用 Java 在 Spark SQL 中加入多列以在 DataFrame 中进行过滤 [英] How to Join Multiple Columns in Spark SQL using Java for filtering in DataFrame

问题描述

• DataFrame a = 包含列 x,y,z,k

• DataFrame b = 包含列 x,y,a

• DataFrame a = contains column x,y,z,k

• DataFrame b = contains column x,y,a

a.join(b,<condition to use in java to use x,y >) ??? 

我尝试使用

a.join(b,a.col("x").equalTo(b.col("x")) && a.col("y").equalTo(b.col("y"),"inner")

但是 Java 抛出错误，说 && 是不允许的.

But Java is throwing error saying && is not allowed.

推荐答案

Spark SQL 在 Column 上提供了一组标记为 java_expr_ops 的方法，这些方法是为 Java 互操作性而设计的.它包括 and(另见 or) 方法，可以在这里使用:

Spark SQL provides a group of methods on Column marked as java_expr_ops which are designed for Java interoperability. It includes and (see also or) method which can be used here:

a.col("x").equalTo(b.col("x")).and(a.col("y").equalTo(b.col("y"))

这篇关于如何使用 Java 在 Spark SQL 中加入多列以在 DataFrame 中进行过滤的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！